[Feature Request]: Spark SQL Iceberg table support
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- spark, sql, typescript
- Ambito
- data-engineering, tooling
Direzione di ricerca
Inizia riproducendo la query di esempio con il parser Spark SQL e confrontala con gli esempi Iceberg Spark DDL collegati. Il lavoro è completato quando il parser accetta i riferimenti a quattro parti catalog.db.table.branch e i join e alias mostrati senza gli errori segnalati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Topic
Support new SQL
Description
Currently linter does not support Iceberg syntax operations. One of the gaps identified was the lack of 4 parts table support convention which now can consist of catalog.db.table.branch. Fore example:
select
h.made_current_at,
s.operation,
h.snapshot_id,
h.is_current_ancestor,
s.summary['spark.app.id']
from prod.db.table.history h
join prod.db.table.snapshots s
on h.snapshot_id = s.snapshot_id
order by made_current_at;
Error text:
* Line:7 - 'table' is not valid at this position, expecting an existing function; Line:7 - '.' is not valid at this position; Line:7 - 'h' is not valid at this position; Line:8 - '.' is not valid at this position; Line:8 - 's' is not valid at this position;
Samples of Iceberg based syntax are available: https://iceberg.apache.org/docs/latest/spark-ddl/#create-table-as-select
- Lingua principale
- TypeScript
- Stelle
- 394
- Fork
- 108
- Merge medio
- 5m
- PR unite (30g)
- 1
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di DTStack/dt-sql-parser
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
DTStack/dt-sql-parser#493 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
DTStack/dt-sql-parser#490 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
DTStack/dt-sql-parser#489 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
DTStack/dt-sql-parser#488 ·
-
enhancement improvement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
DTStack/dt-sql-parser#445 · 2 commenti ·
Tutte le issue di DTStack/dt-sql-parser
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
safetrustcr/dApp-SafeTrust#426 ·
-
area:workflow bug ready-for-agent
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
fil-donadoni/tolaria#4409 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
Fission-AI/OpenSpec#1960 ·
-
Add dependabot Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
corsairdev/corsair#1764 ·