Perf: document and support multi-dimensional chunking for pruning on non-time dimensions
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 38/100
Direção de pesquisa
Start with block_slices() in df.py and PrunableStreamingTable.prune_partitions() to check how multi-dimensional chunk metadata is created and used. Add tests for pruning on non-time dimensions, then document examples and chunk-size guidance for ERA5-scale datasets. Done means those tests pass and the documentation explains how multi-dimensional chunking improves pruning and balances partition count against size.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Problem
Filter pushdown currently only prunes on the chunking dimension. For ARCO-ERA5 chunked by time, a query like:
SELECT AVG(temperature) FROM ds WHERE lat BETWEEN 30 AND 60
cannot prune any partitions — lat is not the partition key. All 732,072 time partitions are read even though only ~33% of rows in each partition satisfy the filter.
Existing support
block_slices() in df.py already supports multi-dimensional chunking:
chunks = {'time': 1, 'lat': 90, 'lon': 180} # chunk on all dims
PrunableStreamingTable.prune_partitions() already stores bounds for all chunked dimensions per partition — it should handle multi-dim metadata correctly today.
Work required
- Add documentation and examples showing multi-dim chunking for better pruning
- Verify that pruning works correctly with multi-dim metadata (likely already works)
- Add tests covering multi-dimensional chunk pruning
- Recommend chunk sizes that balance partition count vs. partition size for ERA5-scale datasets
Parent: #126
- Linguagem predominante
- Python
- Estrelas
- 142
- Forks
- 19
- Merge médio
- 1d 9h
- PRs com merge (30d)
- 9
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de xqlsystems/xarray-sql
-
documentation
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 85/100
xqlsystems/xarray-sql#268 ·
Mantenedores costumam responder em até 1 dia
-
enhancement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 64/100
xqlsystems/xarray-sql#267 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 74/100
xqlsystems/xarray-sql#243 ·
Mantenedores costumam responder em até 1 dia
-
publish.yml: the TestPyPI verification step is unreachable (and installs the wrong package name)Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
xqlsystems/xarray-sql#242 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
xqlsystems/xarray-sql#237 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de xqlsystems/xarray-sql
Issues semelhantes
-
good first issue tools
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
bug deferred domain:ci P1
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
Mantenedores costumam responder em até 1 dia
-
get_page_thumbnail modifies cached page images, affecting later thumbnails and picture exportsAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
docling-project/docling-mcp#147 ·
-
issue: A pipe model's Valves button ignores the Allow Chat Valves permissionTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Abertabug confirmed issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
open-webui/open-webui#32771 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Scheduled Security Scan is failing on mainTalvez já em andamento @pkupt assumiu hoje. Abertasecurity-scan-failure
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 74/100
semantica-agi/semantica#2045 ·
Mantenedores costumam responder em até 2 dias