Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

Could we provide a potentially larger InternalParquetRecordWriter.getDataSize

Offen
  • Stimmt etwas nicht?
#3,032 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 4 Tagen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
35/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Veraltet
Tech-Stack
java
Bereich
data-engineering

Rechercherichtung

Suchen Sie nach InternalParquetRecordWriter.getDataSize und verfolgen Sie, wie Icebergs Rolling-File-Schreibvorgang dessen Wert verwendet. Vergleichen Sie die gemeldete Größe mit den tatsächlich geschriebenen und gepufferten Daten, und definieren und testen Sie anschließend eine größere, sichere Größenschätzung, die unerwartet kleine Dateien verhindert.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

The following code currently has getDataSize as an estimated value. The Iceberg rolling file write operation relies on this method, which may result in writing files that are much smaller than expected.

/**
 * @return the total size of data written to the file and buffered in memory
 */
public long getDataSize() {
  return lastRowGroupEndPos + columnStore.getBufferedSize();
}

Could we provide a potentially larger getDataSize? I can't think of any downsides at the moment.

Component(s)

No response

Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
5 T. 23 Std.
Gemergte PRs (30 T.)
32

Entwicklungsumgebung

  • Kein Dockerfile und keine Docker-Compose-Datei
  • Hat eine Pull-Request-Vorlage
  • Kein Beitragsleitfaden

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/parquet-java

Alle Issues in apache/parquet-java

Ähnliche Issues

Weitere Issues zu Java

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.