Blosc/python-blosc2

[BENCH] Real-world query performance comparison

Open

#652 aberto em 2 de jun. de 2026

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (47 forks)auto 404
documentationhelp wanted

Métricas do repositório

Stars
 (207 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

examples/ctable/real_world.py exists but is a fairly raw script. There is no self-contained example that clearly shows what performance gain SUMMARY indexes provide over a full scan, or how block size affects that gain — which is the most common question users will have after enabling auto-indexing.

Suggested work: Write bench/ctable/summary_index_perf.py that:

  • Generates a synthetic CTable with a few million rows and numeric columns
  • Runs the same where() query three ways: no index, SUMMARY at chunk granularity, SUMMARY at block granularity
  • Prints a clean results table (rows scanned, time, speedup)
  • Includes comments explaining the trade-offs

Ideally, it should work without any external dataset so it can be run immediately after install, but using an accessible dataset is also an option.

Guia do colaborador

Direção de pesquisa
Escreva um script Python que gere um CTable sintético com alguns milhões de linhas e colunas numéricas, depois execute a mesma consulta where() de três maneiras: sem índice, com índice SUMMARY na granularidade de bloco e com índice SUMMARY na granularidade de bloco. Imprima resultados claros incluindo linhas varridas, tempo e aceleração. Inclua comentários explicando as compensações.
Pilha de tecnologia
python
Domain
performance
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70