Writer: nested List<Struct> columns are 5.5x larger than Rust's (masked wrappers at every level, uncompressed list offsets)
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 18/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 活躍
- 領域
- data, performance
研究方向
The payload names no source files, so start by comparing one tags chunk from the Rust-written file with the Java-written file, splitting bytes into list offsets, struct elements and validity. The issue points at the vortex.masked wrappers on the list, struct and each field, and at list offsets that Rust run-end encodes but Java does not. Done means the per-child breakdown identifies which part causes the 5.5x gap, and the Java output size is brought close to Rust's on the same input.
由索引模型根據 Issue 內容生成。
描述
Raincloud osm-germany-nodes, column tags (List<Struct<key: Utf8, value: Utf8>>), vortex-java's Parquet import vs the vortex-jni-written file, data bytes:
| size | typical chunk encoding | |
|---|---|---|
| Rust | 732.7 MB | list(struct(dict(primitive, fsst(primitive, primitive)), dict(bitpacked, fsst(primitive, primitive))), runend(primitive, primitive)) |
| Java | 4,023.7 MB (5.5x) | masked(list(masked(struct(masked(dict(bitpacked, fsst(...)), constant), masked(dict(bitpacked, fsst(...)), ... |
+3.3 GB on this one column; the whole file is 18.4 GB vs Rust's 15.5 GB.
Visible differences in the trees:
vortex.maskedwrappers on the list, the struct and each field, where Rust carries validity in the arrays themselves (as #604 did for integers; #646 for decimals);- Rust run-end encodes the list offsets (
runend(primitive, primitive)); Java's offsets don't appear compressed that way.
To narrow down: per-child byte breakdown of one chunk in both files (offsets vs elements vs validity), and whether Java's chunks hold far fewer rows (Java wrote 1559+ chunks of the most common shape alone).
- 主要語言
- Java
- 星號
- 3
- 分支
- 2
- 平均合併
- 9 小時 55 分鐘
- 30 天內合併 PR
- 126
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
dfa1/vortex-java 的其他 Issue
-
bug
難度 2/5 1-3 小時 新手友好度 66/100
dfa1/vortex-java#636 ·
維護者通常 1 天內回覆
-
enhancement
難度 4/5 3-5 天 新手友好度 38/100
dfa1/vortex-java#660 ·
維護者通常 1 天內回覆
-
bug
難度 4/5 3-5 天 新手友好度 35/100
dfa1/vortex-java#657 · 1 則留言 ·
維護者通常 1 天內回覆
-
bug
難度 3/5 1-2 天 新手友好度 70/100
dfa1/vortex-java#655 ·
維護者通常 1 天內回覆
-
perf
難度 4/5 3-5 天 新手友好度 30/100
dfa1/vortex-java#651 ·
維護者通常 1 天內回覆
相似的 Issue
-
Mend: dependency security vulnerability
難度 2/5 1-3 小時 新手友好度 65/100
維護者通常 1 天內回覆
-
needs-area-label
難度 2/5 1-3 小時 新手友好度 66/100
維護者通常 2 天內回覆
-
critical
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆
-
enhancement Java macOS
難度 2/5 1-3 小時 新手友好度 78/100
freerouting/freerouting#1079 ·
維護者通常 4 天內回覆
-
難度 2/5 1-3 小時 新手友好度 66/100
維護者通常 1 天內回覆