Research: demonstrate if parallel SQL queries are worthwhile · simonw/datasette#1727

(32 commenti) (0 reazioni) (0 assegnatari)Python (625 fork)batch import

help wantedresearch

Metriche repository

I added parallel SQL query execution here:

My hunch is that this will take advantage of multiple cores, since Python's sqlite3 module releases the GIL once a query is passed to SQLite.

I'd really like to prove this is the case though. Just not sure how to do it!

Larger question: is this performance optimization actually improving performance at all? Under what circumstances is it worthwhile?

Direzione di ricerca: Progetta un benchmark che confronti i tempi di esecuzione delle query con e senza parallelismo. Utilizza il modello di threading di SQLite e misura l'utilizzo della CPU per confermare il rilascio del GIL. Testa con diversi tipi di query (es. SELECT semplice, JOIN complesso) e dimensioni del database. Documenta i risultati per guidare le decisioni di ottimizzazione.
Tech stack: python
Dominio: backend
Tipo issue: Ricerca
Difficoltà: 3
Tempo stimato: Mezza giornata
Stato attività: Attiva
Chiarezza: Abbastanza chiara
Prerequisiti: PythonSQLPerformance testing
Adatta ai principianti: 60