feat: support row-group statistics pruning and Parquet page index / page skipping in C++ parquet reader
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
The issue names no files or tests; first locate the C++ Parquet reader and its existing file/manifest pruning entry points. Read how retained row groups are scanned, then define completion around consolidated row-group statistics pruning and ColumnIndex/OffsetIndex-based page skipping.
由索引模型根据 Issue 内容生成。
描述
In iceberg-cpp, Parquet scan currently prunes at file/manifest level; row-group statistics and Parquet page index are not yet used to skip pages inside retained row groups. For large row groups with data sorted by filter column, this leaves significant I/O on the table.
I’d like to propose a phased design:
(1) consolidate row-group stats pruning
(2) add ColumnIndex/OffsetIndex-based page skipping
- 主要语言
- C++
- 星标
- 223
- 派生
- 127
- 平均合并
- 1 天 13 小时
- 30 天内合并 PR
- 28
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/iceberg-cpp 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 88/100
apache/iceberg-cpp#973 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 20/100
apache/iceberg-cpp#959 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 45/100
apache/iceberg-cpp#955 · 3 条评论 · 1 个 reaction ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 45/100
apache/iceberg-cpp#944 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 72/100
apache/iceberg-cpp#943 · 1 条评论 ·
维护者通常 1 天内回复
查看 apache/iceberg-cpp 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 72/100
lxqt/qtermwidget#688 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 92/100
cpinitiative/usaco-guide#6665 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
mpfaffenberger/privateer_reimagined#658 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 85/100
microsoft/onnxruntime#33018 ·
维护者通常 2 天内回复
-
Type: bug
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 2 天内回复