simonw/datasette

Research: demonstrate if parallel SQL queries are worthwhile

Open

#1.727 aberto em 27 de abr. de 2022

Ver no GitHub
 (32 comments) (0 reactions) (0 assignees)Python (8.637 stars) (625 forks)batch import
help wantedresearch

Description

I added parallel SQL query execution here:

My hunch is that this will take advantage of multiple cores, since Python's sqlite3 module releases the GIL once a query is passed to SQLite.

I'd really like to prove this is the case though. Just not sure how to do it!

Larger question: is this performance optimization actually improving performance at all? Under what circumstances is it worthwhile?

Guia do colaborador

Pilha de tecnologia
pythonsqlite
Domain
backenddatabaseperformance
Tipo Issue
research
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
active
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
Python basicsSQLite conceptsPerformance benchmarking
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40
Direção de pesquisa
Review the existing parallel query implementation in issue #1723. Design a benchmark that runs a set of SQL queries sequentially and in parallel, measuring total execution time and CPU utilization using Python's time and resource modules. Compare results on multi core machines and document findings in a comment.