Native tuple sketch functions (tuple_*, Spark 4.2): audit the crate against Java and implement

Ouverte
  • Quelque chose ne va pas ?
#7,401 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 2 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
12/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
java, rust, scala, spark
Domaine
data-engineering

Piste de recherche

This is a multi-part audit and implementation across the Rust tuple feature of the datasketches crate and Comet's Spark expression support, so it is not a starting point. Begin with the Spark 4.2 tuple function definitions and the existing theta sketch expressions in the Comet source, then compare the crate's summary types and union/intersection policies against DataSketches-Java 6.2.0 fixtures. Done means each tuple_* function runs natively with a Spark fallback before 4.2, backed by committed fixtures and tests.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

area:aggregation area:expressions enhancement

What is the problem the feature request solves?

Part of #7397.

Spark 4.2 adds Tuple sketch functions: tuple_sketch_agg, tuple_union_agg, tuple_intersection_agg, the tuple_difference / tuple_union / tuple_intersection scalars, and tuple_sketch_estimate, tuple_sketch_summary and tuple_sketch_theta, each in integer and double summary variants. None of them run natively in Comet. The crate's tuple feature arrived in datasketches 0.4.0.

Describe the potential solution

  1. Score the family with suggest-native-expression first. This is the lowest priority of the four, because it only exists in the newest Spark version Comet supports.
  2. Do the theta work first, since a tuple sketch is a theta sketch with a summary attached and shares its hashing and set-operation behavior.
  3. Audit the crate's tuple feature against DataSketches-Java 6.2.0 using committed fixtures. The summary types and the policies that combine summaries on union and intersection need to match Spark's exactly, and the serialized summary format has to be readable in both directions.
  4. Implement, test and document as for the other families, with a fallback on Spark versions before 4.2.
Langage dominant
Scala
Étoiles
1.3k
Forks
414
Merge moyen
3 j 4 h
PR mergées (30 j)
202

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/datafusion-comet

Toutes les issues de apache/datafusion-comet

Issues similaires

Plus d'issues Scala

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.