delta-io/delta

[Feature Request] Automatically generate partition filters for generated columns using the floor function

Chiusa

#1444 aperta il 18 ott 2022

Vedi su GitHubGuida contributor
 (2 commenti) (1 reazione) (0 assegnatari)Scala (2159 fork)batch import
enhancementgood first issuestale

Metriche repository

Star
 (8950 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

See #1442

We can automatically generated partition filters when a partition column is generated by the floor function.

i.e. if x < y then floor(x) <= floor(y)

Guida contributor

Direzione di ricerca
Esamina la logica esistente di generazione dei filtri di partizione in Delta Lake, in particolare nel contesto delle colonne generate e della funzione floor. Identifica dove è implementato il pushdown dei filtri ed estendilo per dedurre che se x < y allora floor(x) <= floor(y). Considera l'aggiunta di una nuova voce in SupportedGenerationExpressions.scala per floor e implementa la corrispondente generazione del filtro in PartitionFiltering.scala.
Tech stack
scalaspark
Dominio
backenddatabasedistributed systemsdata engineering
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaApache SparkDelta Lake
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30