simonw/datasette

Research: demonstrate if parallel SQL queries are worthwhile

Open

#1 727 ouverte le 27 avr. 2022

Voir sur GitHub
 (32 commentaires) (0 réactions) (0 assignés)Python (625 forks)batch import
help wantedresearch

Métriques du dépôt

Stars
 (8 637 stars)
Métriques de merge PR
 (Merge moyen 67j 23h) (19 PRs mergées en 30 j)

Description

I added parallel SQL query execution here:

My hunch is that this will take advantage of multiple cores, since Python's sqlite3 module releases the GIL once a query is passed to SQLite.

I'd really like to prove this is the case though. Just not sure how to do it!

Larger question: is this performance optimization actually improving performance at all? Under what circumstances is it worthwhile?

Guide contributeur

Direction de recherche
Concevez un benchmark comparant les temps d'exécution des requêtes avec et sans parallélisme. Utilisez le modèle de threading de SQLite et mesurez l'utilisation du CPU pour confirmer la libération du GIL. Testez avec différents types de requêtes (ex. SELECT simple, JOIN complexe) et tailles de base de données. Documentez les résultats pour guider les décisions d'optimisation.
Stack technique
python
Domaine
backend
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonSQLPerformance testing
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60