Perf: document and support multi-dimensional chunking for pruning on non-time dimensions
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
研究方向
Start with block_slices() in df.py and PrunableStreamingTable.prune_partitions() to check how multi-dimensional chunk metadata is created and used. Add tests for pruning on non-time dimensions, then document examples and chunk-size guidance for ERA5-scale datasets. Done means those tests pass and the documentation explains how multi-dimensional chunking improves pruning and balances partition count against size.
由索引模型根據 Issue 內容生成。
描述
Problem
Filter pushdown currently only prunes on the chunking dimension. For ARCO-ERA5 chunked by time, a query like:
SELECT AVG(temperature) FROM ds WHERE lat BETWEEN 30 AND 60
cannot prune any partitions — lat is not the partition key. All 732,072 time partitions are read even though only ~33% of rows in each partition satisfy the filter.
Existing support
block_slices() in df.py already supports multi-dimensional chunking:
chunks = {'time': 1, 'lat': 90, 'lon': 180} # chunk on all dims
PrunableStreamingTable.prune_partitions() already stores bounds for all chunked dimensions per partition — it should handle multi-dim metadata correctly today.
Work required
- Add documentation and examples showing multi-dim chunking for better pruning
- Verify that pruning works correctly with multi-dim metadata (likely already works)
- Add tests covering multi-dimensional chunk pruning
- Recommend chunk sizes that balance partition count vs. partition size for ERA5-scale datasets
Parent: #126
- 主要語言
- Python
- 星號
- 142
- 分支
- 19
- 平均合併
- 1 天 9 小時
- 30 天內合併 PR
- 9
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
xqlsystems/xarray-sql 的其他 Issue
-
documentation
難度 1/5 1-3 小時 新手友好度 85/100
xqlsystems/xarray-sql#268 ·
維護者通常 1 天內回覆
-
enhancement
難度 2/5 1-3 小時 新手友好度 64/100
xqlsystems/xarray-sql#267 ·
維護者通常 1 天內回覆
-
難度 1/5 1 小時以內 新手友好度 74/100
xqlsystems/xarray-sql#243 ·
維護者通常 1 天內回覆
-
publish.yml: the TestPyPI verification step is unreachable (and installs the wrong package name)未關閉
難度 2/5 1-3 小時 新手友好度 62/100
xqlsystems/xarray-sql#242 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
xqlsystems/xarray-sql#237 ·
維護者通常 1 天內回覆
查看 xqlsystems/xarray-sql 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 76/100
-
[Device Support Request] HOBEIAN ZG-204ZL (Tuya PIR motion sensor with illuminance)可能已有人在做 @lenucksi 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 78/100
zigpy/zha-device-handlers#5493 ·
維護者通常 3 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
drevendev/BeautifulRepo#42 ·
維護者通常 1 天內回覆
-
enhancement good first issue
難度 2/5 1-3 小時 新手友好度 84/100
writerslogic/holographic-memory#93 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 66/100
antoine-tena/kiln#47 ·
維護者通常 1 天內回覆