Ice insert does not preserve logical datatype in parquet
@subkanthi 已经在做这个了。
开始于 2025年10月30日。
评估
这个 Issue 还没有评估数据。
描述
After ice insert:
$ parquet-tools inspect ~/Desktop/1761746450566-169c87db783407235acfb0cb2f14bf1df2e5855df3a4e7a4b55bd64eecaeda9c.parquet
############ file meta data ############
created_by: parquet-mr version 1.15.1 (build c7257b8faff5699e13bbc781679dc03f48c1102a)
num_columns: 2
num_rows: 1
num_row_groups: 1
format_version: 1.0
serialized_size: 489
############ Columns ############
year
data_col
############ Column(year) ############
name: year
path: year
max_definition_level: 0
max_repetition_level: 0
physical_type: INT32
logical_type: None
converted_type (legacy): NONE
compression: GZIP (space_saved: -74%)
############ Column(data_col) ############
name: data_col
path: data_col
max_definition_level: 0
max_repetition_level: 0
physical_type: INT32
logical_type: None
converted_type (legacy): NONE
compression: GZIP (space_saved: -74%)
Before:
$ parquet-tools inspect ~/Desktop/0_0_0_0_8DE63E1F13ABD6974B28FC2035C2D569.parquet
############ file meta data ############
created_by: ClickHouse v25.8.9.20238.altinityantalya
num_columns: 2
num_rows: 2
num_row_groups: 1
format_version: 2.6
serialized_size: 263
############ Columns ############
year
data_col
############ Column(year) ############
name: year
path: year
max_definition_level: 0
max_repetition_level: 0
physical_type: INT32
logical_type: Int(bitWidth=16, isSigned=false)
converted_type (legacy): UINT_16
compression: ZSTD (space_saved: -60%)
############ Column(data_col) ############
name: data_col
path: data_col
max_definition_level: 0
max_repetition_level: 0
physical_type: INT32
logical_type: Int(bitWidth=8, isSigned=false)
converted_type (legacy): UINT_8
compression: ZSTD (space_saved: -56%)
- 主要语言
- Java
- 星标
- 35
- 派生
- 7
- 平均合并
- 5 天 5 小时
- 30 天内合并 PR
- 4
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
Altinity/ice 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
-
难度 2/5 1-3 小时 新手友好度 68/100
-
Support configurable x-amz-meta-* headers for S3 requests可能已有人在做 @xieandrew 于 27 天前认领。 未关闭ice-rest-catalog p1
-
Add support for multi-arg transforms in create-table可能重新可做 @subkanthi 于 42 天前认领，目前没有进行中的 PR。 未关闭
-
难度 4/5 3-5 天 新手友好度 50/100
相似的 Issue
-
StepExamBenchmarkTest runs a loop and prints a timing but asserts nothing可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭jules
难度 1/5 1 小时以内 新手友好度 82/100
open-learning-exchange/myplanet#18199 · 1 条评论 ·
维护者通常 4 天内回复
-
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 1 天内回复
-
Scheme-less stream URLs throw NullPointerException instead of URISyntaxException可能已有人在做 @blihio 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
pedroSG94/RootEncoder#2218 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
apache/rocketmq-dashboard#6872 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
ADORSYS-GIS/token-status-link#168 ·
维护者通常 2 天内回复