Writer: a nullable decimal column goes through vortex.masked; Rust keeps the validity on decimal_byte_parts' child or drops it
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start with MaskedEncodingEncoder on the Java writer side, where a nullable decimal gets wrapped in vortex.masked even when all rows are valid, and compare it with Rust's DecimalScheme and split_decimal, which keep validity on the most-significant-part child. The test to run is DecimalBytePartsInteropIntegrationTest, widened to compare the full zoned stats tree. Done means the nullable decimal tree matches the Rust output, and the work should follow the validity-on-leaf approach from #604 and #635.
由索引模型根据 Issue 内容生成。
描述
A nullable decimal column is encoded by MaskedEncodingEncoder, which wraps the values in vortex.masked(<values>, <validity>) even when every row is valid. Rust's DecimalScheme splits the decimal (split_decimal) keeping its validity on the most-significant-part child, and an all-valid validity writes no bitmap at all (Rust's AllValid).
Seen in the zoned layout's stats table of every decimal column (its min/max columns are nullable): for TPC-H-shaped decimal columns vortex-jni writes them as vortex.constant, vortex.decimal_byte_parts(vortex.primitive) or vortex.decimal, where vortex-java writes vortex.masked(vortex.decimal, vortex.constant):
- vortex.decimal_byte_parts
- vortex.primitive
+ vortex.masked
+ vortex.decimal
+ vortex.constant
(DecimalBytePartsInteropIntegrationTest with its comparison widened from the data column to the full tree.) The data column of a nullable decimal holding nulls takes the same path.
This is the decimal counterpart of what #604 did for integers (validity on the leaf, never a vortex.masked wrapper) and of the timestamp change in #635. Found while fixing #644, which covers the non-nullable value child only.
- 主要语言
- Java
- 星标
- 3
- 派生
- 2
- 平均合并
- 9 小时 47 分钟
- 30 天内合并 PR
- 128
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dfa1/vortex-java 的其他 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 66/100
dfa1/vortex-java#636 ·
维护者通常 1 天内回复
-
bug
难度 3/5 1-2 天 新手友好度 70/100
dfa1/vortex-java#655 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#651 ·
维护者通常 1 天内回复
-
Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)未关闭perf
难度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#650 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 28/100
dfa1/vortex-java#649 ·
维护者通常 1 天内回复
相似的 Issue
-
bug
难度 1/5 1 小时以内 新手友好度 82/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
objectionary/lints#1640 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
openhab/openhab-addons#22168 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
wildfly/wildfly-channel#446 ·
-
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复