Cannot read parquet file that was generated from nanoparquet
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- java
調査の方向性
org.apache.parquet.column.values.ValuesReader.readInteger のスタックトレースと ColumnReaderBase の整数読み取りパスから始め、リンクされた mtcars_np.zip ファイルを再現ケースとして使用します。ファイルのエンコーディングメタデータを調べ、parquet-java 1.14.3 が想定するものと比較します。完了条件は、MessageColumnIO が nanoparquet で生成されたファイルを UnsupportedOperationException なしで読み取れることです。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug, including details regarding any error messages, version, and platform.
When trying to use MessageColumnIO to get a record reader, the following error occurs:
Exception in thread "main" java.lang.UnsupportedOperationException
at org.apache.parquet.column.values.ValuesReader.readInteger(ValuesReader.java:178)
at org.apache.parquet.column.impl.ColumnReaderBase$ValuesReaderIntIterator.nextInt(ColumnReaderBase.java:830)
at org.apache.parquet.column.impl.ColumnReaderBase.checkRead(ColumnReaderBase.java:663)
at org.apache.parquet.column.impl.ColumnReaderBase.consume(ColumnReaderBase.java:801)
at org.apache.parquet.column.impl.ColumnReaderImpl.consume(ColumnReaderImpl.java:30)
at org.apache.parquet.column.impl.ColumnReaderImpl.<init>(ColumnReaderImpl.java:43)
at org.apache.parquet.column.impl.ColumnReadStoreImpl.getColumnReader(ColumnReadStoreImpl.java:80)
at org.apache.parquet.io.RecordReaderImplementation.<init>(RecordReaderImplementation.java:282)
at org.apache.parquet.io.MessageColumnIO$1.visit(MessageColumnIO.java:141)
at org.apache.parquet.io.MessageColumnIO$1.visit(MessageColumnIO.java:105)
at org.apache.parquet.filter2.compat.FilterCompat$NoOpFilter.accept(FilterCompat.java:180)
at org.apache.parquet.io.MessageColumnIO.getRecordReader(MessageColumnIO.java:105)
I expected that this would work. Pyarrow for example can read the file.
Sample file can be found here:
Nanoparquet can be found here:
https://github.com/r-lib/nanoparquet
Version: 1.14.3
Platform: Linux
Component(s)
Core
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 6日 44分
- マージ済み PR（30日）
- 35
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/parquet-java のほかの issue
-
Type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/parquet-java#3792 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/parquet-java#3767 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/parquet-java#3695 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/parquet-java#3667 ·
メンテナーはふだん 2 日以内に返信
-
Type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/parquet-java#3574 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
apache/parquet-java の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
ci-failure-cause test-failure
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
nextcloud/notes-android#3367 ·
メンテナーはふだん 1 日以内に返信
-
Feature
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
MuntashirAkon/AppManager#2058 ·
-
SarifLogger: artifactLocation.uri is not properly encoded for file names containing '#', '?', or '%'オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
checkstyle/checkstyle#21721 ·
メンテナーはふだん 1 日以内に返信