Expose RecordBatch batch_size through XarrayContext.from_dataset
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
研究方向
Start with XarrayContext.from_dataset() and its private _from_dataset() helper, then follow how they reach read_xarray_table(..., batch_size=...). Add a batch_size parameter to both and pass it through the heterogeneous dimension-group path, keeping the default at 65,536. Done when from_dataset(..., batch_size=262_144) produces RecordBatches of that size in a test that counts batches per partition.
由索引模型根據 Issue 內容生成。
描述
🤖 read_xarray_table(..., batch_size=...) exposes the source RecordBatch size, but XarrayContext.from_dataset() and _from_dataset() currently do not pass that option through.
This matters for dense-grid consumers that use the convenient context API. A quarter-degree (lat=720, lon=1440) time plane has 1,036,800 rows, so the current 65,536-row default emits about 16 source batches per time partition. A larger batch may reduce Python/Arrow crossings and downstream batch-coalescing overhead; smaller batches may be preferable under memory pressure.
Suggested API:
ctx.from_dataset(
"canonical",
ds,
chunks={"time": 1},
batch_size=262_144,
)
It should be threaded through heterogeneous dimension groups as well. The default should remain unchanged; this issue is about making the existing reader control available from the primary API and documenting the latency/memory tradeoff.
- 主要語言
- Python
- 星號
- 142
- 分支
- 19
- 平均合併
- 1 天 6 小時
- 30 天內合併 PR
- 8
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
xqlsystems/xarray-sql 的其他 Issue
-
bug
難度 2/5 1-3 小時 新手友好度 72/100
xqlsystems/xarray-sql#288 ·
維護者通常 1 天內回覆
-
documentation ml
難度 1/5 1-3 小時 新手友好度 85/100
xqlsystems/xarray-sql#268 ·
維護者通常 1 天內回覆
-
enhancement ml
難度 2/5 1-3 小時 新手友好度 64/100
xqlsystems/xarray-sql#267 · 2 則留言 ·
維護者通常 1 天內回覆
-
難度 1/5 1 小時以內 新手友好度 74/100
xqlsystems/xarray-sql#243 ·
維護者通常 1 天內回覆
-
publish.yml: the TestPyPI verification step is unreachable (and installs the wrong package name)未關閉
難度 2/5 1-3 小時 新手友好度 62/100
xqlsystems/xarray-sql#242 ·
維護者通常 1 天內回覆
查看 xqlsystems/xarray-sql 的全部 Issue
相似的 Issue
-
enhancement help wanted
難度 2/5 1-3 小時 新手友好度 76/100
Git-Hospital/githealthcheck#61 ·
維護者通常 1 天內回覆
-
changelog investigate
難度 2/5 1-3 小時 新手友好度 67/100
ramnes/notion-sdk-py#433 ·
-
Partial method descriptors raise on class access可能已有人在做 @Gambit-Checkmate 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 76/100
維護者通常 19 天內回覆
-
docs pkg:core
難度 1/5 1 小時以內 新手友好度 84/100
pydantic/pydantic-ai#11929 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
intake/intake-esm#789 ·