Write truncated parquet footer

オープン

#3,069 2024年11月18日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 32/100

issue の種類: バグ
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: aws, gcp, java
領域: cloud, data-engineering

調査の方向性

ソースファイル、テスト、エントリポイントのいずれも指定されていません。GCP 上でバージョン 1.14.3 を使って破損した出力を再現し、その seek の動作を AWS と比較してください。完了条件は、writer が一貫して PAR1 で終わるファイルを生成し、EOFException なしで読み取れることです。

索引モデルが issue の本文から書いたものです。

説明

Type: bug

Describe the bug, including details regarding any error messages, version, and platform.

Sometimes a file is written that is missing the last byte, so it ends in .PAR when it should be .PAR1. This causes EOFException when attempting to read the file.

$ hexdump -C good.snappy.parquet| tail -n 10
004fff70  6b 2e 6c 65 67 61 63 79  44 61 74 65 54 69 6d 65  |k.legacyDateTime|
004fff80  18 00 00 18 4a 70 61 72  71 75 65 74 2d 6d 72 20  |....Jparquet-mr |
004fff90  76 65 72 73 69 6f 6e 20  31 2e 31 32 2e 33 20 28  |version 1.12.3 (|
004fffa0  62 75 69 6c 64 20 66 38  64 63 65 64 31 38 32 63  |build f8dced182c|
004fffb0  34 63 31 66 62 64 65 63  36 63 63 62 33 31 38 35  |4c1fbdec6ccb3185|
004fffc0  35 33 37 62 35 61 30 31  65 36 65 64 36 62 29 19  |537b5a01e6ed6b).|
004fffd0  dc 1c 00 00 1c 00 00 1c  00 00 1c 00 00 1c 00 00  |................|
004fffe0  1c 00 00 1c 00 00 1c 00  00 1c 00 00 1c 00 00 1c  |................|
004ffff0  00 00 1c 00 00 1c 00 00  00 e7 0f 00 00 50 41 52  |.............PAR|
00500000

This might be related - we are seeing this issue only on GCP, not AWS. For GCP we do disk seeks randomly and on AWS we do disk seeks sequentially.

We can rerun a job that writes the corrupt parquet file, and it will succeed the second time, so it seems to be nondeterministic.

This is on version 1.14.3.

Component(s)

No response

主要言語: Java
スター: 3.1k
フォーク: 1.6k
平均マージ: 6日 16時間
マージ済み PR（30日）: 36

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/parquet-java のほかの issue

AvroIndexedRecordConverter resolves aliases before the exact field name オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

apache/parquet-java#3792 · 2026年9月14日に作成
Make PageReader AutoCloseable オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

apache/parquet-java#3767 · 2026年9月4日に作成
Remove duplicate LICENSE and NOTICE files from benchmark JARs オープン

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/parquet-java#3695 · コメント 1 件 · 2026年7月29日に作成
Close input readers when ParquetRewriter setup fails オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3667 · 2026年7月16日に作成
null_count is omitted for large columns in parquet files オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3574 · コメント 1 件 · 2026年5月22日に作成

apache/parquet-java の issue をすべて見る

似ている issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 オープン

documentation

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日に作成
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

killbill/killbill#2314 · コメント 1 件 · 2026年9月24日に作成
Work list, Cases and Compliance overlap, and nothing says which one to use オープン

frontend maui-pilot pilot-ask question

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Taleef7/workwell#698 · 2026年9月24日に作成
[Bug][UI] Replace the status of the button in the Sessions Tab オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日に作成
executions.Query — startDate and timeRange filters are sent with inverted comparison operators オープン

area/plugin

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日に作成

Java の issue をもっと見る