delta-io/delta

[Feature Request] Automatically generate partition filters for generated columns using the floor function

Open

#1 444 ouverte le 18 oct. 2022

Voir sur GitHub
 (1 commentaire) (1 réaction) (0 assignés)Scala (2 100 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (8 807 stars)
Métriques de merge PR
 (Merge moyen 7j 1h) (142 PRs mergées en 30 j)

Description

See #1442

We can automatically generated partition filters when a partition column is generated by the floor function.

i.e. if x < y then floor(x) <= floor(y)

Guide contributeur

Direction de recherche
Examinez la logique existante de génération de filtres de partition dans Delta Lake, en particulier dans le contexte des colonnes générées et de la fonction floor. Identifiez où l'inférence de filtres est implémentée et étendez la pour déduire que si x < y alors floor(x) <= floor(y). Envisagez d'ajouter une nouvelle entrée dans SupportedGenerationExpressions.scala pour floor et d'implémenter la génération de filtre correspondante dans PartitionFiltering.scala.
Stack technique
scalaspark
Domaine
backenddatabasedistributed systemsdata engineering
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
ScalaApache SparkDelta Lake
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30