Parquet reader: fall back to positional field IDs when a file has no field IDs and no name mapping
维护者通常 3 天内回复
还没有人认领这个 Issue。
评估
调研方向
Read the Parquet reader changes in #1044 and compare its schema handling with avro_reader.cc and Java's ReadConf/addFallbackIds. Decide how positional IDs should apply to top-level columns and whether the behavior should be opt-in, then define the expected behavior in tests for files without field IDs or a name mapping.
由索引模型根据 Issue 内容生成。
描述
Background
#1044 adds name mapping support to the Parquet reader. When a Parquet file has no field IDs and no name mapping is provided, the reader returns InvalidSchema, which matches the current C++ Avro reader (avro_reader.cc).
The Java Parquet reader handles this case differently. As pointed out in https://github.com/apache/iceberg-cpp/pull/1044, ReadConf falls back to addFallbackIds and assigns positional IDs to top-level columns, so such files can still be read.
Proposal
When the Parquet file schema has no field IDs and no name mapping is provided, assign fallback IDs by top-level column position, as Java does, instead of returning an error.
Open questions:
- Should the Avro reader get the same fallback for consistency?
- Should the fallback be opt-in or always enabled?
- 主要语言
- C++
- 星标
- 230
- 派生
- 138
- 平均合并
- 4 天 2 小时
- 30 天内合并 PR
- 61
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/iceberg-cpp 的其他 Issue
-
难度 5/5 一周以上 新手友好度 12/100
apache/iceberg-cpp#1027 · 4 条评论 ·
维护者通常 3 天内回复
-
难度 4/5 3-5 天 新手友好度 35/100
apache/iceberg-cpp#1000 · 2 条评论 · 1 个 reaction ·
维护者通常 3 天内回复
-
难度 5/5 一周以上 新手友好度 8/100
apache/iceberg-cpp#988 · 2 条评论 ·
维护者通常 3 天内回复
-
难度 5/5 一周以上 新手友好度 20/100
apache/iceberg-cpp#959 · 1 条评论 ·
维护者通常 3 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
apache/iceberg-cpp#946 · 6 条评论 ·
维护者通常 3 天内回复
查看 apache/iceberg-cpp 的全部 Issue
相似的 Issue
-
Rifle-variant weapon offsets are saved under the pistol's name [FRIK-093]可能已有人在做 @rollingrock 今天认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 72/100
rollingrock/Fallout-4-VR-Body#182 ·
-
Main workflow runs twice for newly created refs可能已有人在做 @rustyconover 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
duckdb/duckdb-wasm#2293 ·
维护者通常 1 天内回复
-
3.x bug
难度 2/5 1-3 小时 新手友好度 78/100
owasp-modsecurity/ModSecurity#3708 ·
维护者通常 1 天内回复
-
[Bug] [Go] Ack returns nil when the server answers with a non-OK status可能已有人在做 @leizhiyuan 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
apache/rocketmq-clients#1465 ·
维护者通常 2 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 76/100
CartoDB/duckdb-raquet#48 ·
维护者通常 1 天内回复