Cross-check the child stats of string columns against vortex-jni

Ouverte
#708 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
58/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
java
Domaine
testing

Piste de recherche

Read NodeStatsInteropIntegrationTest and docs/compatibility.md, especially the vortex.fsst notes. Identify the child stats for string columns and compare stat presence and precision per node, plus values that do not depend on the trained FSST table; use a low-cardinality column for dict codes. Done means the test covers these cases without comparing FSST-dependent values byte-for-byte.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

enhancement good first issue

Split from #583. NodeStatsInteropIntegrationTest compares every flat root and the whole tree of the numeric columns against vortex-jni, but not the children of string columns (FSST lengths and codes, dict values).

Their stat values depend on the trained FSST symbol table, which cannot be byte-identical to Rust's: candidates of equal gain pop in hash-map iteration order, which depends on the CPU's SIMD width (see docs/compatibility.md, vortex.fsst). A plain comparison would be flaky.

To do: compare the stat set per node (which stats are present, precision) rather than values where the table matters, and values where they do not (e.g. vortex.sequence offsets, dict codes of a low-cardinality column).

Parity directive: this is a test gap, not a known divergence.

Langage dominant
Java
Étoiles
3
Forks
2
Merge moyen
9 h 19 min
PR mergées (30 j)
154

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de dfa1/vortex-java

Toutes les issues de dfa1/vortex-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.