Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)

Đang mở
  • Có gì không ổn?
#650 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
30/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java
Lĩnh vực
data

Hướng nghiên cứu

Start with the globalDict option in WriteOptions and the admission probe that checks globalDictMaxRetainedBytes, then compare them with Rust's DictStrategy to see why these string columns are rejected. Reproduce with the bi-generico PrimeraLinea column and the clickbench-hits Title column, comparing the Java and Rust output trees. Done means these columns are written with the shared dict layout and the data bytes come close to the Rust sizes, with the admission reasoning explained in the write path.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

perf

vortex-java's Parquet import vs the vortex-jni-written file, data bytes:

dataset column Rust Java Rust tree (most common) Java tree (most common)
bi-generico PrimeraLinea (Utf8?) 293.6 MB 585.8 MB (2.00x) 302x bitpacked + 198x fsst 1869x masked(dict(bitpacked, fsst(...)), constant)
bi-generico Concatenar 2 329.1 MB 395.9 MB (1.20x) 879x bitpacked + 279x onpair 3156x masked(dict(bitpacked, onpair(...)), constant)
bi-generico VER ANUNCIO, Concatenar 1, Producto ~290 / 290 / 212 MB 1.18–1.20x same shape same shape
clickbench-hits Title (Utf8) 1,101 MB 1,523 MB (1.38x) 2408x bitpacked + 1629x onpair 1335x dict(bitpacked, onpair(...))
clickbench-hits URL 1,933 MB 2,591 MB (1.34x) 4336x bitpacked + 2036x onpair 1852x onpair
clickbench-hits Referer 1,635 MB 1,836 MB (1.12x) 3243x bitpacked 1788x dict(bitpacked, onpair(...))

Rust's flats are mostly bare fastlanes.bitpacked codes: its dict layout shares one values pool across chunks. Java writes a per-chunk vortex.dict encoding (each chunk repeating its own values), and nullable ones under vortex.masked. ~+1.3 GB across these columns.

To narrow down: why Java's global dict layout (WriteOptions globalDict, default on) does not admit these columns — the admission probe / globalDictMaxRetainedBytes against Rust's DictStrategy.

Ngôn ngữ chính
Java
Star
3
Fork
2
Merge trung bình
9 giờ 51 phút
Pull request đã merge (30 ngày)
127

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của dfa1/vortex-java

Tất cả issue của dfa1/vortex-java

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.