Write truncated parquet footer

未关闭

#3,069 创建于 2024年11月18日 0 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 4/5
预计耗时: 3-5 天
新手友好度: 32/100

Issue 类型: 缺陷
描述清晰度: 需要澄清
活跃度: 停滞
技术栈: aws, gcp, java
领域: cloud, data-engineering

调研方向

未指定源文件、测试或入口点。在 GCP 上使用版本 1.14.3 重现损坏的输出，并将其 seek 行为与 AWS 进行比较；完成的标准是 writer 始终生成以 PAR1 结尾且无需 EOFException 即可读取的文件。

由索引模型根据 Issue 内容生成。

描述

Type: bug

Describe the bug, including details regarding any error messages, version, and platform.

Sometimes a file is written that is missing the last byte, so it ends in .PAR when it should be .PAR1. This causes EOFException when attempting to read the file.

$ hexdump -C good.snappy.parquet| tail -n 10
004fff70  6b 2e 6c 65 67 61 63 79  44 61 74 65 54 69 6d 65  |k.legacyDateTime|
004fff80  18 00 00 18 4a 70 61 72  71 75 65 74 2d 6d 72 20  |....Jparquet-mr |
004fff90  76 65 72 73 69 6f 6e 20  31 2e 31 32 2e 33 20 28  |version 1.12.3 (|
004fffa0  62 75 69 6c 64 20 66 38  64 63 65 64 31 38 32 63  |build f8dced182c|
004fffb0  34 63 31 66 62 64 65 63  36 63 63 62 33 31 38 35  |4c1fbdec6ccb3185|
004fffc0  35 33 37 62 35 61 30 31  65 36 65 64 36 62 29 19  |537b5a01e6ed6b).|
004fffd0  dc 1c 00 00 1c 00 00 1c  00 00 1c 00 00 1c 00 00  |................|
004fffe0  1c 00 00 1c 00 00 1c 00  00 1c 00 00 1c 00 00 1c  |................|
004ffff0  00 00 1c 00 00 1c 00 00  00 e7 0f 00 00 50 41 52  |.............PAR|
00500000

This might be related - we are seeing this issue only on GCP, not AWS. For GCP we do disk seeks randomly and on AWS we do disk seeks sequentially.

We can rerun a job that writes the corrupt parquet file, and it will succeed the second time, so it seems to be nondeterministic.

This is on version 1.14.3.

Component(s)

No response

主要语言: Java
星标: 3.1k
派生: 1.6k
平均合并: 6 天 16 小时
30 天内合并 PR: 36

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/parquet-java 的其他 Issue

AvroIndexedRecordConverter resolves aliases before the exact field name 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 68/100

apache/parquet-java#3792 · 2026年9月14日创建
Make PageReader AutoCloseable 未关闭

难度 2/5 1-3 小时新手友好度 82/100

apache/parquet-java#3767 · 2026年9月4日创建
Remove duplicate LICENSE and NOTICE files from benchmark JARs 未关闭

难度 2/5 1-3 小时新手友好度 72/100

apache/parquet-java#3695 · 1 条评论 · 2026年7月29日创建
Close input readers when ParquetRewriter setup fails 未关闭

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3667 · 2026年7月16日创建
null_count is omitted for large columns in parquet files 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3574 · 1 条评论 · 2026年5月22日创建

查看 apache/parquet-java 的全部 Issue

相似的 Issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 未关闭

documentation

难度 2/5 1-3 小时新手友好度 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日创建
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) 未关闭

难度 2/5 1-3 小时新手友好度 65/100

killbill/killbill#2314 · 1 条评论 · 2026年9月24日创建
Work list, Cases and Compliance overlap, and nothing says which one to use 未关闭

frontend maui-pilot pilot-ask question

难度 2/5 1-3 小时新手友好度 75/100

Taleef7/workwell#698 · 2026年9月24日创建
[Bug][UI] Replace the status of the button in the Sessions Tab 未关闭

难度 2/5 1-3 小时新手友好度 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日创建
executions.Query — startDate and timeRange filters are sent with inverted comparison operators 未关闭

area/plugin

难度 2/5 1-3 小时新手友好度 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日创建

更多 Java Issue