Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start with the globalDict option in WriteOptions and the admission probe that checks globalDictMaxRetainedBytes, then compare them with Rust's DictStrategy to see why these string columns are rejected. Reproduce with the bi-generico PrimeraLinea column and the clickbench-hits Title column, comparing the Java and Rust output trees. Done means these columns are written with the shared dict layout and the data bytes come close to the Rust sizes, with the admission reasoning explained in the write path.
由索引模型根据 Issue 内容生成。
描述
vortex-java's Parquet import vs the vortex-jni-written file, data bytes:
| dataset | column | Rust | Java | Rust tree (most common) | Java tree (most common) |
|---|---|---|---|---|---|
| bi-generico | PrimeraLinea (Utf8?) | 293.6 MB | 585.8 MB (2.00x) | 302x bitpacked + 198x fsst |
1869x masked(dict(bitpacked, fsst(...)), constant) |
| bi-generico | Concatenar 2 | 329.1 MB | 395.9 MB (1.20x) | 879x bitpacked + 279x onpair |
3156x masked(dict(bitpacked, onpair(...)), constant) |
| bi-generico | VER ANUNCIO, Concatenar 1, Producto | ~290 / 290 / 212 MB | 1.18–1.20x | same shape | same shape |
| clickbench-hits | Title (Utf8) | 1,101 MB | 1,523 MB (1.38x) | 2408x bitpacked + 1629x onpair |
1335x dict(bitpacked, onpair(...)) |
| clickbench-hits | URL | 1,933 MB | 2,591 MB (1.34x) | 4336x bitpacked + 2036x onpair |
1852x onpair |
| clickbench-hits | Referer | 1,635 MB | 1,836 MB (1.12x) | 3243x bitpacked |
1788x dict(bitpacked, onpair(...)) |
Rust's flats are mostly bare fastlanes.bitpacked codes: its dict layout shares one values pool across chunks. Java writes a per-chunk vortex.dict encoding (each chunk repeating its own values), and nullable ones under vortex.masked. ~+1.3 GB across these columns.
To narrow down: why Java's global dict layout (WriteOptions globalDict, default on) does not admit these columns — the admission probe / globalDictMaxRetainedBytes against Rust's DictStrategy.
- 主要语言
- Java
- 星标
- 3
- 派生
- 2
- 平均合并
- 9 小时 47 分钟
- 30 天内合并 PR
- 128
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dfa1/vortex-java 的其他 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 66/100
dfa1/vortex-java#636 ·
维护者通常 1 天内回复
-
bug
难度 3/5 1-2 天 新手友好度 70/100
dfa1/vortex-java#655 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#651 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 28/100
dfa1/vortex-java#649 ·
维护者通常 1 天内回复
-
perf
难度 4/5 3-5 天 新手友好度 18/100
dfa1/vortex-java#648 ·
维护者通常 1 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 84/100
objectionary/lints#1640 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
openhab/openhab-addons#22168 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
wildfly/wildfly-channel#446 ·
-
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
5.0.x backport enhancement
难度 2/5 1-3 小时 新手友好度 63/100
spring-cloud/spring-cloud-function#1507 ·
维护者通常 1 天内回复