Writer: integer cascade choices differ from Rust's on real columns (run-end, nullable bit-packing), 1.2–1.8x larger

Ouverte
  • Quelque chose ne va pas ?
#651 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
30/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
java
Domaine
data

Piste de recherche

The payload gives six columns with Rust and Java sizes and encoding trees, and each one is a reproducer. Start with one column, such as RefererRegionID, and use the encoding-tree interop tests, which take a column shape and compare trees, to see where the Java cascade chooses run-end or bit-packing differently. Done means the Java tree matches Rust's for that shape and the output size is close to Rust's. Confirm first whether the gap comes from #649 or from chunk count.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

perf

vortex-java's Parquet import vs the vortex-jni-written file, data bytes; the trees are each side's two most common chunk encodings:

dataset column type Rust Java Rust tree Java tree
clickbench-hits RefererRegionID I32 68.1 MB 124.7 MB (1.83x) 171x bitpacked(patches), 12x runend 274x bitpacked(patches), 39x runend
clickbench-hits FUniqID I64 255.4 MB 358.3 MB (1.40x) 289x bitpacked, 176x primitive 365x runend(for(bitpacked), primitive)
clickbench-hits UserID I64 274.5 MB 366.4 MB (1.33x) 433x primitive, 116x runend(bitpacked, primitive) 367x runend(for(bitpacked), primitive)
bi-generico Hora_Pagina I32? 207.3 MB 269.1 MB (1.30x) 158x primitive, 109x bitpacked 371x bitpacked(bool)
bi-generico Disco I16? 92.8 MB 119.9 MB (1.29x) 159x runend(for(bitpacked), bitpacked) 183x bitpacked(bool)
bi-generico Codigo I32? 249.8 MB 289.4 MB (1.16x) 272x primitive 263x bitpacked(patches)

Java picks run-end where Rust keeps bit-packed/primitive (and vice versa), and its nullable chunks pay a vortex.bool validity on every bit-packed chunk. Likely several sampling/estimate differences in the cascade; each column above is a reproducer to bisect (the encoding-tree interop tests take a column shape and compare trees). Some of RefererRegionID may be #649 or chunk count (Java writes more chunks of these columns).

Langage dominant
Java
Étoiles
3
Forks
2
Merge moyen
9 h 47 min
PR mergées (30 j)
128

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de dfa1/vortex-java

Toutes les issues de dfa1/vortex-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.