InternalParquetRecordWriter flushRowGroupToStore not actually writing to file
Maintainer antworten meist innerhalb von 4 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 45/100
Rechercherichtung
Beginne mit dem Lesen von InternalParquetRecordWriter, insbesondere von flushRowGroupToStore und close, und verfolge dann, wie parquetFileWriter.end gepufferte Daten schreibt. Bestätige die erwartete Flush-Grenze und füge eine Abdeckung für den Dateiinhalt nach flushRowGroupToStore hinzu oder aktualisiere sie; abgeschlossen ist dies, wenn die Datei die geflushte Row Group enthält, bevor close aufgerufen wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Describe the bug, including details regarding any error messages, version, and platform.
Description:
The flushRowGroupToStore method in InternalParquetRecordWriter purports to "Flush mem columnStore to file," but no data is actually written to the file system until the close method is invoked. This behavior is unexpected, as one would anticipate data being flushed.
Expected Result:
Data should be written to the file when flushRowGroupToStore is invoked, effectively flushing the in-memory column store contents to the file.
Actual Result:
File contents remain empty until the close method is called, where parquetFileWriter.end is invoked to write the data.
Version : parquet-hadoop 1.13.1
Component(s)
No response
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 5 T. 13 Std.
- Gemergte PRs (30 T.)
- 31
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Kein Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/parquet-java
-
Row-group copying collides for distinct column paths with the same dot stringEvtl. vergeben @costas-db hat das vor 20 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
apache/parquet-java#3829 ·
Maintainer antworten meist innerhalb von 4 Tagen
-
Binary statistics truncation test ignores its configured truncation lengthEvtl. vergeben @dhruv-15-03 hat das vor 22 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
apache/parquet-java#3820 ·
Maintainer antworten meist innerhalb von 4 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
apache/parquet-java#3767 ·
Maintainer antworten meist innerhalb von 4 Tagen
-
Remove duplicate LICENSE and NOTICE files from benchmark JARsEvtl. vergeben @efegokdemir hat das vor 25 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
apache/parquet-java#3695 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 4 Tagen
-
null_count is omitted for large columns in parquet filesEvtl. vergeben @efegokdemir hat das vor 23 Tagen übernommen. OffenType: bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/parquet-java#3574 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 4 Tagen
Alle Issues in apache/parquet-java
Ähnliche Issues
-
enhancement Improvement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
zowe/zowe-client-java-sdk#647 ·
-
NullPointerException when a `DeserializationProblemHandler` returns `null` for `byte[]` (single value unwrapped) and `char[]` elementsEvtl. vergeben @Marti2203 hat das heute übernommen. Offen
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 88/100
FasterXML/jackson-databind#6300 ·
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
MustacheCase/zanadir#254 ·
Maintainer antworten meist innerhalb von 1 Tag
-
content good first issue
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 95/100
cpinitiative/usaco-guide#6699 ·
Maintainer antworten meist innerhalb von 1 Tag
-
BC remittance upload: a claim MSP refused (S03) is saved with a blank status instead of refused (F)Evtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offentype: bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
carlos-emr/carlos#4933 ·
Maintainer antworten meist innerhalb von 1 Tag