delta-io/delta

[Feature Request] Support additional generation expressions for automatic data skipping

Aperta

#1442 aperta il 18 ott 2022

Vedi su GitHubGuida contributor
 (7 commenti) (0 reazioni) (0 assegnatari)Scala (2154 fork)batch import
enhancementgood first issuenot-stale

Metriche repository

Star
 (8942 stelle)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

Overview

For partition columns that are generated columns, we are able to automatically generate partition filters when we see a data filter on its generating columns. Right now we automatically generate these for a small subset of possible generation expressions (defined here.)

Details

We can add support for additional expressions. Here are the supported generation expressions in Delta.

A few specific expressions that would make sense to add include:

These are just a few, feel free to comment or create a new sub-issue for any additional expressions you think would be beneficial.

What to update?

Guida contributor

Direzione di ricerca
Studia le espressioni di generazione esistenti in optimizablePartitionExpressions.scala e la gestione in GeneratedColumn.scala. Per ogni nuova espressione (Ceil, Floor, TruncDate, TruncTimestamp), trova la corrispondente classe di espressione Spark SQL, aggiungila all'elenco delle espressioni supportate e aggiorna la suite di test in OptimizeGeneratedColumnSuite.scala.
Tech stack
scalaspark
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaApache Spark
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75