Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[PIPELINES] Support partition transforms in SDP partition_cols

Aperta
  • Qualcosa non va?
#57,908 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 2 giorni

@wilhelmagren ci sta già lavorando.

Dal 10/8/2026.

  • #57910 di @wilhelmagren — aperta

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
68/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Tranquilla
Stack tecnologico
python, scala, sql
Ambito
data-engineering, databases

Direzione di ricerca

Inizia in DatasetManager.materializeTable, dove partition_cols viene attualmente mappato tramite Expressions.identity. Leggi la logica di parsing Catalyst esistente utilizzata per le trasformazioni SQL PARTITIONED BY, quindi verifica il comportamento per le colonne semplici, months(event_time) e bucket(16, user_id). Il lavoro è completato quando le trasformazioni identity rimangono per i nomi delle colonne, mentre la sintassi di trasformazione supportata produce le corrispondenti trasformazioni V2.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

spark=4.1.3
iceberg=1.11.0

Problem

SDP currently treats every entry in partition_cols as an identity partition transform.

for example

@dp.materialized_view(partition_cols=["months(event_time)"])
def events():
    ...

causes months(event_time) to be interpreted as a column name instead of a partition transform.

Behaviour comes from DatasetManager.materializeTable where all partition cols are converted using identity

table.partitionCols.toSeq.flatten.map(Expressions.identity)

and as a result using the above partition col it just becomes identity('months(event_time)').

Expected behaviour

SDP should support the same partition transforms that Spark SQL already supports

Bare col-names (partition_col=["event_date"]) should continue producing identity(event_date)
but partition transforms should be respected, and combining partitions like

partition_cols=["country", "bucket(16, user_id)"]

should produce its corresponding V2 partition transforms.

Existing SQL support

Catalyst parses partition transform syntax for SQL PARTITIONED BY and creates corresponding V2 Transform

SDP should just reuse the existing Catalyst parsing logic and not short-circuit everything to identity transform.

Lingua principale
Scala
Stelle
44.3k
Fork
29.5k
Merge medio
8h 43m
PR unite (30g)
1

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/spark

Tutte le issue di apache/spark

Issue simili

Altre issue su Scala

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.