Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)

Ouverte
  • Quelque chose ne va pas ?
#650 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
30/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
java
Domaine
data

Piste de recherche

Start with the globalDict option in WriteOptions and the admission probe that checks globalDictMaxRetainedBytes, then compare them with Rust's DictStrategy to see why these string columns are rejected. Reproduce with the bi-generico PrimeraLinea column and the clickbench-hits Title column, comparing the Java and Rust output trees. Done means these columns are written with the shared dict layout and the data bytes come close to the Rust sizes, with the admission reasoning explained in the write path.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

perf

vortex-java's Parquet import vs the vortex-jni-written file, data bytes:

dataset column Rust Java Rust tree (most common) Java tree (most common)
bi-generico PrimeraLinea (Utf8?) 293.6 MB 585.8 MB (2.00x) 302x bitpacked + 198x fsst 1869x masked(dict(bitpacked, fsst(...)), constant)
bi-generico Concatenar 2 329.1 MB 395.9 MB (1.20x) 879x bitpacked + 279x onpair 3156x masked(dict(bitpacked, onpair(...)), constant)
bi-generico VER ANUNCIO, Concatenar 1, Producto ~290 / 290 / 212 MB 1.18–1.20x same shape same shape
clickbench-hits Title (Utf8) 1,101 MB 1,523 MB (1.38x) 2408x bitpacked + 1629x onpair 1335x dict(bitpacked, onpair(...))
clickbench-hits URL 1,933 MB 2,591 MB (1.34x) 4336x bitpacked + 2036x onpair 1852x onpair
clickbench-hits Referer 1,635 MB 1,836 MB (1.12x) 3243x bitpacked 1788x dict(bitpacked, onpair(...))

Rust's flats are mostly bare fastlanes.bitpacked codes: its dict layout shares one values pool across chunks. Java writes a per-chunk vortex.dict encoding (each chunk repeating its own values), and nullable ones under vortex.masked. ~+1.3 GB across these columns.

To narrow down: why Java's global dict layout (WriteOptions globalDict, default on) does not admit these columns — the admission probe / globalDictMaxRetainedBytes against Rust's DictStrategy.

Langage dominant
Java
Étoiles
3
Forks
2
Merge moyen
9 h 47 min
PR mergées (30 j)
128

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de dfa1/vortex-java

Toutes les issues de dfa1/vortex-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.