Improve performance of InternalParquetRecordReader (1%)

オープン

#3,226 2025年5月25日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 2/5
見積もり時間: 1〜3時間
初心者へのやさしさ: 55/100

issue の種類: 機能追加
明瞭さ: 明確に書かれている
活発さ: 停滞
技術スタック: java
領域: data-engineering, performance

調査の方向性

parquet-hadoop/src/main/java/org/apache/parquet/hadoop/InternalParquetRecordReader.java の、323行目付近にある LongStream から始め、リンクされているベンチマークプロジェクト parquet-rowindexiterator を確認します。reader の現在の反復処理と、ベンチマークの Long Iterator アプローチを比較します。完了条件は、reader が報告されている LongStream のオーバーヘッドを回避しつつ、行インデックスの反復処理の動作を維持することです。

索引モデルが issue の本文から書いたものです。

説明

Type: enhancement

Describe the enhancement requested

Profiling the load of a Parquet file with Java Mission Control, I've noticed that InternalParquetRecordReader LongStream consumes relevant amount of time.

This LongStream can be replaced with a simpler Long Iterator that iterates from 0 to pages.getRowCount().

To measure the overhead I've created a test project that overwrites InternalParquetRecordReader implementation with a Long Iterator: https://github.com/jerolba/parquet-rowindexiterator

The execution time is sensitive to the context of the JVM, but running the benchmark multiple times shows that LongStream is slower than LongIterator, between 1% and 4% depending on the run.

Component(s)

No response

主要言語: Java
スター: 3.1k
フォーク: 1.6k
平均マージ: 6日 16時間
マージ済み PR（30日）: 36

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/parquet-java のほかの issue

AvroIndexedRecordConverter resolves aliases before the exact field name オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

apache/parquet-java#3792 · 2026年9月14日に作成
Make PageReader AutoCloseable オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

apache/parquet-java#3767 · 2026年9月4日に作成
Remove duplicate LICENSE and NOTICE files from benchmark JARs オープン

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/parquet-java#3695 · コメント 1 件 · 2026年7月29日に作成
Close input readers when ParquetRewriter setup fails オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3667 · 2026年7月16日に作成
null_count is omitted for large columns in parquet files オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3574 · コメント 1 件 · 2026年5月22日に作成

apache/parquet-java の issue をすべて見る

似ている issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 オープン

documentation

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日に作成
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

killbill/killbill#2314 · コメント 1 件 · 2026年9月24日に作成
Work list, Cases and Compliance overlap, and nothing says which one to use オープン

frontend maui-pilot pilot-ask question

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Taleef7/workwell#698 · 2026年9月24日に作成
[Bug][UI] Replace the status of the button in the Sessions Tab オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日に作成
executions.Query — startDate and timeRange filters are sent with inverted comparison operators オープン

area/plugin

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日に作成

Java の issue をもっと見る