parquet-cli reports nested columns as null
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
使用 parquet schema、parquet dictionary -c subjects.list.element 以及对 catalog.parquet 执行的 cat 或 head，复现 Parquet CLI 1.15.0 中的问题。将 dictionary 命令报告的嵌套列值与显示的记录进行比较，并检查处理这些命令的 parquet-cli 路径。完成标准是 cat 和 head 显示嵌套数组，而不是错误地将其显示为 null。
由索引模型根据 Issue 内容生成。
描述
Describe the bug, including details regarding any error messages, version, and platform.
Using Parquet CLI 1.15.0 via Mac Homebrew, I noticed some surprising behaviour with the parquet-cli and nested columns.
parquet schema catalog.parquet returns a schema showing the nested types (I've trimmed the field list slightly):
{
"type" : "record",
"name" : "schema",
"fields" : [ {
"name" : "item_id",
"type" : "string"
}, {
"name" : "title",
"type" : [ "null", "string" ],
"default" : null
}, {
"name" : "language",
"type" : [ "null", "string" ],
"default" : null
}, {
"name" : "subjects",
"type" : [ "null", {
"type" : "array",
"items" : {
"type" : "record",
"name" : "list",
"fields" : [ {
"name" : "element",
"type" : "string"
} ]
}
} ],
"default" : null
}, {
"name" : "authors",
"type" : [ "null", {
"type" : "array",
"items" : {
"type" : "record",
"name" : "list",
"namespace" : "list2",
"fields" : [ {
"name" : "element",
"type" : "string"
} ]
}
} ],
"default" : null
} ]
}
parquet dictionary -c subjects.list.element catalog.parquet will return the expected values for those fields as well:
Row group 0 dictionary for "subjects.list.element":
0: "Bestsellers"
1: "Biography"
2: "Fantasy Fiction"
3: "Music Theory"
4: "Disability"
5: "Family"
6: "Young Adult"
However, when using cat or head to display the file contents those fields are displayed as null:
{"bmc_id": "id1", "title": null, "language": "en", "subjects": null, "authors": null}
{"bmc_id": "id2", "title": null, "language": "en", "subjects": null, "authors": null,}
{"bmc_id": "id3", "title": null, "language": "en", "subjects": null, "authors": null}
Other tools like PyArrow or Pandas do display those values as arrays. I created this as a bug because it looks like it's working and if those fields are nullable, there's no way to tell whether the null value is correct.
Component(s)
No response
- 主要语言
- Java
- 星标
- 3.1k
- 派生
- 1.6k
- 平均合并
- 4 天 9 小时
- 30 天内合并 PR
- 32
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/parquet-java 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 88/100
apache/parquet-java#3820 ·
维护者通常 1 天内回复
-
Type: bug
难度 2/5 1-3 小时 新手友好度 68/100
apache/parquet-java#3792 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
apache/parquet-java#3767 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
apache/parquet-java#3695 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
apache/parquet-java#3667 ·
维护者通常 1 天内回复
查看 apache/parquet-java 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
OpenAPITools/openapi-generator#25014 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 78/100
openhab/openhab-core#5847 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
-
bug
难度 2/5 1-3 小时 新手友好度 76/100
-
Base64Variant.decodeBase64Byte() crashes on non-ASCII char instead of returning BASE64_VALUE_INVALID未关闭
难度 2/5 1-3 小时 新手友好度 78/100