No need to read full RowGroup when using RowRanges

Offen

#3,231 erstellt am 30.5.2025 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 45/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Ruhig
Tech-Stack: java
Bereich: data-engineering

Rechercherichtung

Beginne bei ParquetFileReader.readFilteredRowGroup() und verfolge, wie RowRanges.createSingle(10) beim Laden einer Row Group verarbeitet wird. Ermittle, wo die vollständige Row Group gelesen wird und wie Bereichsfilterung Netzwerklesevorgänge und Speicherverbrauch begrenzen könnte; abgeschlossen ist dies, wenn die angeforderten Zeilen gelesen werden können, ohne die vollständige Row Group zu laden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: enhancement

Describe the enhancement requested

I'm using ParquetFileReader and would like to read the few first line of a parquet file to show a preview to the user.
I'm doing this :
PageReadStore rowGroup = reader.readFilteredRowGroup(0, RowRanges.createSingle(10));
and then :
ColumnReadStore colReadStore = new ColumnReadStoreImpl(rowGroup,
new GroupRecordConverter(schema).getRootConverter(),
schemaLecture, ...);
etc.

The problem is when calling readFilteredRowGroup(), it reads the full row group in memory, which in my case is slow because the parquet file is on a network drive and has quite big row group. On top of that, it consumes RAM for nothing.

Is this an issue or could it be improved ?

Thanks in advance.
Olivier

Component(s)

No response

Vorherrschende Sprache: Java
Sterne: 3.1k
Forks: 1.6k
Ø Merge: 6 T. 16 Std.
Gemergte PRs (30 T.): 36

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/parquet-java

AvroIndexedRecordConverter resolves aliases before the exact field name Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/parquet-java#3792 · Erstellt am 14.9.2026
Make PageReader AutoCloseable Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100

apache/parquet-java#3767 · Erstellt am 04.9.2026
Remove duplicate LICENSE and NOTICE files from benchmark JARs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

apache/parquet-java#3695 · 1 Kommentar · Erstellt am 29.7.2026
Close input readers when ParquetRewriter setup fails Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/parquet-java#3667 · Erstellt am 16.7.2026
null_count is omitted for large columns in parquet files Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/parquet-java#3574 · 1 Kommentar · Erstellt am 22.5.2026

Alle Issues in apache/parquet-java