Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
研究方向
Start with the globalDict option in WriteOptions and the admission probe that checks globalDictMaxRetainedBytes, then compare them with Rust's DictStrategy to see why these string columns are rejected. Reproduce with the bi-generico PrimeraLinea column and the clickbench-hits Title column, comparing the Java and Rust output trees. Done means these columns are written with the shared dict layout and the data bytes come close to the Rust sizes, with the admission reasoning explained in the write path.
由索引模型根據 Issue 內容生成。
描述
vortex-java's Parquet import vs the vortex-jni-written file, data bytes:
| dataset | column | Rust | Java | Rust tree (most common) | Java tree (most common) |
|---|---|---|---|---|---|
| bi-generico | PrimeraLinea (Utf8?) | 293.6 MB | 585.8 MB (2.00x) | 302x bitpacked + 198x fsst |
1869x masked(dict(bitpacked, fsst(...)), constant) |
| bi-generico | Concatenar 2 | 329.1 MB | 395.9 MB (1.20x) | 879x bitpacked + 279x onpair |
3156x masked(dict(bitpacked, onpair(...)), constant) |
| bi-generico | VER ANUNCIO, Concatenar 1, Producto | ~290 / 290 / 212 MB | 1.18–1.20x | same shape | same shape |
| clickbench-hits | Title (Utf8) | 1,101 MB | 1,523 MB (1.38x) | 2408x bitpacked + 1629x onpair |
1335x dict(bitpacked, onpair(...)) |
| clickbench-hits | URL | 1,933 MB | 2,591 MB (1.34x) | 4336x bitpacked + 2036x onpair |
1852x onpair |
| clickbench-hits | Referer | 1,635 MB | 1,836 MB (1.12x) | 3243x bitpacked |
1788x dict(bitpacked, onpair(...)) |
Rust's flats are mostly bare fastlanes.bitpacked codes: its dict layout shares one values pool across chunks. Java writes a per-chunk vortex.dict encoding (each chunk repeating its own values), and nullable ones under vortex.masked. ~+1.3 GB across these columns.
To narrow down: why Java's global dict layout (WriteOptions globalDict, default on) does not admit these columns — the admission probe / globalDictMaxRetainedBytes against Rust's DictStrategy.
- 主要語言
- Java
- 星號
- 3
- 分支
- 2
- 平均合併
- 9 小時 47 分鐘
- 30 天內合併 PR
- 128
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
dfa1/vortex-java 的其他 Issue
-
bug
難度 2/5 1-3 小時 新手友好度 66/100
dfa1/vortex-java#636 ·
維護者通常 1 天內回覆
-
bug
難度 3/5 1-2 天 新手友好度 70/100
dfa1/vortex-java#655 ·
維護者通常 1 天內回覆
-
perf
難度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#651 ·
維護者通常 1 天內回覆
-
perf
難度 4/5 3-5 天 新手友好度 28/100
dfa1/vortex-java#649 ·
維護者通常 1 天內回覆
-
perf
難度 4/5 3-5 天 新手友好度 18/100
dfa1/vortex-java#648 ·
維護者通常 1 天內回覆
相似的 Issue
-
5.0.x backport enhancement
難度 2/5 1-3 小時 新手友好度 63/100
spring-cloud/spring-cloud-function#1507 ·
維護者通常 1 天內回覆
-
ai-driven-fuzzing bug claude Minor
難度 2/5 1-3 小時 新手友好度 66/100
linagora/twake-calendar-side-service#1417 · 2 則留言 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 74/100
line/armeria#7109 · 3 個 reaction ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 66/100
a2aproject/a2a-java#1275 ·
維護者通常 1 天內回覆
-
module/ftp Type/Bug
難度 2/5 1-3 小時 新手友好度 72/100
ballerina-platform/ballerina-library#9476 ·
維護者通常 1 天內回覆