BIT_PACKING is written by default when Definition or Repetition levels are empty

Offen

#3,307 erstellt am 06.9.2025 6 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 2/5
Geschätzter Aufwand: 1-3 Stunden
Anfängerfreundlichkeit: 48/100

Issue-Typ: Bug
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: java
Bereich: data-engineering

Rechercherichtung

Beginne damit, DevNullValuesWriter zu finden und seine getEncoding()-Implementierung zu untersuchen; verfolge dann, wie dieser Wert die Spaltenmetadaten und den DataPageHeader erreicht. Bestätige, dass leere Wiederholungs- und Definitionslevel nicht mehr die veraltete BIT_PACKED-Kodierung erzeugen, sondern stattdessen RLE verwenden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: bug

As discussed in https://github.com/apache/arrow/discussions/47113 , this package is writing the deprecated BIT_PACKING encoding to the column metadata and the DataPageHeader. This is only seems to happens when rep/def levels are empty. I think this is where it's happening:

public class DevNullValuesWriter extends ValuesWriter {
  ....
  public Encoding getEncoding() {
    return BIT_PACKED;
  }
}

Wouldn't it make sense to just return RLE?

I've seen this in parquet-java 1.15.1 and Overture Maps files using 1.13.1.

Vorherrschende Sprache: Java
Sterne: 3.1k
Forks: 1.6k
Ø Merge: 6 T. 16 Std.
Gemergte PRs (30 T.): 36

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/parquet-java

AvroIndexedRecordConverter resolves aliases before the exact field name Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/parquet-java#3792 · Erstellt am 14.9.2026
Make PageReader AutoCloseable Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100

apache/parquet-java#3767 · Erstellt am 04.9.2026
Remove duplicate LICENSE and NOTICE files from benchmark JARs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

apache/parquet-java#3695 · 1 Kommentar · Erstellt am 29.7.2026
Close input readers when ParquetRewriter setup fails Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/parquet-java#3667 · Erstellt am 16.7.2026
null_count is omitted for large columns in parquet files Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/parquet-java#3574 · 1 Kommentar · Erstellt am 22.5.2026

Alle Issues in apache/parquet-java