simonw/datasette

Research: demonstrate if parallel SQL queries are worthwhile

Open

#1.727 aberto em 27 de abr. de 2022

Ver no GitHub
 (32 comments) (0 reactions) (0 assignees)Python (625 forks)batch import
help wantedresearch

Métricas do repositório

Stars
 (8.637 stars)
Métricas de merge de PR
 (Mesclagem média 67d 23h) (19 fundiu PRs em 30d)

Description

I added parallel SQL query execution here:

My hunch is that this will take advantage of multiple cores, since Python's sqlite3 module releases the GIL once a query is passed to SQLite.

I'd really like to prove this is the case though. Just not sure how to do it!

Larger question: is this performance optimization actually improving performance at all? Under what circumstances is it worthwhile?

Guia do colaborador

Direção de pesquisa
Projete um benchmark que compare os tempos de execução de consultas com e sem paralelismo. Utilize o modelo de threading do SQLite e meça a utilização da CPU para confirmar a liberação do GIL. Teste com diferentes tipos de consulta (ex. SELECT simples, JOIN complexo) e tamanhos de banco de dados. Documente os resultados para orientar decisões de otimização.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonSQLPerformance testing
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60