simonw/datasette

Research: demonstrate if parallel SQL queries are worthwhile

Open

#1.727 geöffnet am 27. Apr. 2022

Auf GitHub ansehen
 (32 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (625 Forks)batch import
help wantedresearch

Repository-Metriken

Stars
 (8.637 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 67T 23h) (19 gemergte PRs in 30 T)

Beschreibung

I added parallel SQL query execution here:

My hunch is that this will take advantage of multiple cores, since Python's sqlite3 module releases the GIL once a query is passed to SQLite.

I'd really like to prove this is the case though. Just not sure how to do it!

Larger question: is this performance optimization actually improving performance at all? Under what circumstances is it worthwhile?

Contributor Guide

Research-Richtung
Entwerfen Sie einen Benchmark, der die Abfrageausführungszeiten mit und ohne Parallelität vergleicht. Nutzen Sie das Threading Modell von SQLite und messen Sie die CPU Auslastung, um die GIL Freigabe zu bestätigen. Testen Sie mit verschiedenen Abfragetypen (z. B. einfaches SELECT, komplexer JOIN) und Datenbankgrößen. Dokumentieren Sie die Ergebnisse, um Optimierungsentscheidungen zu leiten.
Tech Stack
python
Domain
backend
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonSQLPerformance testing
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60