Parquet export fails on a Decimal column
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 70/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- java
- Bereich
- data-engineering
Rechercherichtung
The failure is raised in ParquetExporter.addColumn at ParquetExporter.java:169, which rejects Decimal columns with a STRUCT/LIST/MAP message. Read the Parquet import side that #628 changed to see how DECIMAL is mapped to Vortex, then mirror that mapping on export. Done when exporting a Decimal[precision=15, scale=2] column writes a Parquet DECIMAL(15,2) column and re-importing it gives the same type.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Following #628 (Parquet import reads `DECIMAL` as a Vortex decimal), the export side does not write one back:
```
vortex export lineitem.vortex out.parquet
UnsupportedOperationException: unsupported column type for Parquet export (STRUCT/LIST/MAP not yet supported): Decimal[precision=15, scale=2, nullable=false] (column: l_quantity)
at ParquetExporter.addColumn(ParquetExporter.java:169)
```
Repro: import any Parquet file with a `DECIMAL` column (e.g. TPC-H sf1 `lineitem` from `tpchgen-cli`), then export the result to `.parquet`. CSV export of the same file works.
Expected: a `DECIMAL(precision, scale)` column written with the matching Parquet physical type and logical annotation, so the import to export round trip is lossless. The message also names STRUCT/LIST/MAP, which is misleading for a decimal.
Found verifying the Snappy fix (#645).
- Vorherrschende Sprache
- Java
- Sterne
- 3
- Forks
- 2
- Ø Merge
- 9 Std. 51 Min.
- Gemergte PRs (30 T.)
- 127
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus dfa1/vortex-java
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
dfa1/vortex-java#636 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
dfa1/vortex-java#657 ·
Maintainer antworten meist innerhalb von 1 Tag
-
perf
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
dfa1/vortex-java#651 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)Offenperf
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
dfa1/vortex-java#650 ·
Maintainer antworten meist innerhalb von 1 Tag
-
perf
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 28/100
dfa1/vortex-java#649 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in dfa1/vortex-java
Ähnliche Issues
-
maintenance
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 83/100
apache/maven-resources-plugin#569 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Data Sources visit drilldown returns an empty visitDurationByType for Achilles 1.7+ results (query still reads analysis 211)Evtl. vergeben @DG47 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
Maintainer antworten meist innerhalb von 1 Tag
-
BUG
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
camel-tooling/camel-language-server#1482 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 3 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
micronaut-projects/micronaut-redis#844 ·
Maintainer antworten meist innerhalb von 4 Tagen