Reuse Parquet OffsetIndex objects and direct-plan decisions
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 25/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- cpp
研究方向
首先檢查 issue #314，該 issue 被指定為這項工作的實作。驗證 sparse 和 dense 選取中的選定值和索引生命週期，包括 row-group 保留限制，然後比較 format benchmark 與 main 的延遲和儲存位元組數，不要假設會有普遍的加速效果。
由索引模型根據 Issue 內容生成。
描述
Problem
Selective Parquet reads repeat CPU work within one file reader: Arrow 17 reparses OffsetIndex on each lookup, page planning scans page locations for sparse row selections, and decoding rebuilds a direct-read plan just to determine whether compressed row coordinates apply.
The byte cache in #272 reduces repeated I/O but does not eliminate this parsing and planning work.
Proposed improvement
- Reuse parsed OffsetIndex objects within each retained row-group reader.
- Seek across page gaps for sparse selections and visit each selected page once.
- Reuse the direct-plan decision during decoding.
Preserve index validation, dictionary handling, per-leaf row coordinates and missing-index fallbacks. Keep parsed objects reader-local without introducing a shared data cache or public option.
Validation
Check selected values and index lifetimes, including sparse/dense selections and the row-group retention limit. Compare against main with the format benchmark, reporting latency and storage bytes without assuming a general speedup.
Implementation: #314.
- 主要語言
- C++
- 星號
- 65
- 分支
- 31
- 平均合併
- 1 天 14 小時
- 30 天內合併 PR
- 60
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
apache/paimon-cpp 的其他 Issue
-
[Feature] Warm up next data file in ConcatBatchReader可能已有人在做 @SteNicholas 於 1 天前認領。 未關閉enhancement
apache/paimon-cpp#419 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
[Feature] Derive Parquet data file stats from in-memory writer metadata instead of re-reading footer可能已有人在做 @SteNicholas 於 1 天前認領。 未關閉enhancement
apache/paimon-cpp#417 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
[Feature] Support writing MAP<K, BLOB> fields可能已有人在做 @SteNicholas 於 3 天前認領。 未關閉enhancement
apache/paimon-cpp#415 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
enhancement
難度 5/5 一週以上 新手友好度 35/100
apache/paimon-cpp#410 ·
維護者通常 1 天內回覆
-
enhancement
難度 5/5 一週以上 新手友好度 25/100
apache/paimon-cpp#409 ·
維護者通常 1 天內回覆
查看 apache/paimon-cpp 的全部 Issue
相似的 Issue
-
Server-side raycast misses objects with `rotate = true` selection boxes (degrees passed as radians)未關閉Unconfirmed bug
難度 2/5 1-3 小時 新手友好度 82/100
luanti-org/luanti#17624 ·
維護者通常 2 天內回覆
-
難度 2/5 1-3 小時 新手友好度 74/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 62/100
moneymanagerex/moneymanagerex#8564 ·
維護者通常 2 天內回覆
-
難度 2/5 半天 新手友好度 72/100
tesseract-robotics/tesseract_nanobind#190 ·
維護者通常 1 天內回覆
-
enhancement
難度 2/5 1-3 小時 新手友好度 70/100
telegramdesktop/tdesktop#31409 ·
維護者通常 10 天內回覆