Parquet export fails on a Decimal column
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 70/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- java
调研方向
The failure is raised in ParquetExporter.addColumn at ParquetExporter.java:169, which rejects Decimal columns with a STRUCT/LIST/MAP message. Read the Parquet import side that #628 changed to see how DECIMAL is mapped to Vortex, then mirror that mapping on export. Done when exporting a Decimal[precision=15, scale=2] column writes a Parquet DECIMAL(15,2) column and re-importing it gives the same type.
由索引模型根据 Issue 内容生成。
描述
Following #628 (Parquet import reads `DECIMAL` as a Vortex decimal), the export side does not write one back:
```
vortex export lineitem.vortex out.parquet
UnsupportedOperationException: unsupported column type for Parquet export (STRUCT/LIST/MAP not yet supported): Decimal[precision=15, scale=2, nullable=false] (column: l_quantity)
at ParquetExporter.addColumn(ParquetExporter.java:169)
```
Repro: import any Parquet file with a `DECIMAL` column (e.g. TPC-H sf1 `lineitem` from `tpchgen-cli`), then export the result to `.parquet`. CSV export of the same file works.
Expected: a `DECIMAL(precision, scale)` column written with the matching Parquet physical type and logical annotation, so the import to export round trip is lossless. The message also names STRUCT/LIST/MAP, which is misleading for a decimal.
Found verifying the Snappy fix (#645).
- 主要语言
- Java
- 星标
- 3
- 派生
- 2
- 平均合并
- 9 小时 47 分钟
- 30 天内合并 PR
- 128
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dfa1/vortex-java 的其他 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 66/100
dfa1/vortex-java#636 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#651 ·
维护者通常 1 天内回复
-
Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)未关闭perf
难度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#650 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 28/100
dfa1/vortex-java#649 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 18/100
dfa1/vortex-java#648 ·
维护者通常 1 天内回复
相似的 Issue
-
5.0.x backport enhancement
难度 2/5 1-3 小时 新手友好度 63/100
spring-cloud/spring-cloud-function#1507 ·
维护者通常 1 天内回复
-
ai-driven-fuzzing bug claude Minor
难度 2/5 1-3 小时 新手友好度 66/100
linagora/twake-calendar-side-service#1417 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
line/armeria#7109 · 3 个 reaction ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 66/100
a2aproject/a2a-java#1275 ·
维护者通常 1 天内回复
-
module/ftp Type/Bug
难度 2/5 1-3 小时 新手友好度 72/100
ballerina-platform/ballerina-library#9476 ·
维护者通常 1 天内回复