delta-io/delta

[Feature Request] Automatically generate partition filters for generated columns using the floor function

Open

#1444 aperta il 18 ott 2022

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Scala (2100 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (8807 star)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

See #1442

We can automatically generated partition filters when a partition column is generated by the floor function.

i.e. if x < y then floor(x) <= floor(y)

Guida contributor

Direzione di ricerca
Esamina la logica esistente di generazione dei filtri di partizione in Delta Lake, in particolare nel contesto delle colonne generate e della funzione floor. Identifica dove è implementato il pushdown dei filtri ed estendilo per dedurre che se x < y allora floor(x) <= floor(y). Considera l'aggiunta di una nuova voce in SupportedGenerationExpressions.scala per floor e implementa la corrispondente generazione del filtro in PartitionFiltering.scala.
Tech stack
scalaspark
Dominio
backenddatabasedistributed systemsdata engineering
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaApache SparkDelta Lake
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30