[Feature Request]: Spark SQL Iceberg table support
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- spark, sql, typescript
- Bereich
- data-engineering, tooling
Rechercherichtung
Beginne damit, die Beispielabfrage gegen den Spark SQL-Parser zu reproduzieren, und vergleiche sie mit den verlinkten Iceberg Spark DDL-Beispielen. Erledigt ist es, wenn der Parser vierteilige catalog.db.table.branch-Referenzen sowie die gezeigten Joins und Aliase ohne die gemeldeten Fehler akzeptiert.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Topic
Support new SQL
Description
Currently linter does not support Iceberg syntax operations. One of the gaps identified was the lack of 4 parts table support convention which now can consist of catalog.db.table.branch. Fore example:
select
h.made_current_at,
s.operation,
h.snapshot_id,
h.is_current_ancestor,
s.summary['spark.app.id']
from prod.db.table.history h
join prod.db.table.snapshots s
on h.snapshot_id = s.snapshot_id
order by made_current_at;
Error text:
* Line:7 - 'table' is not valid at this position, expecting an existing function; Line:7 - '.' is not valid at this position; Line:7 - 'h' is not valid at this position; Line:8 - '.' is not valid at this position; Line:8 - 's' is not valid at this position;
Samples of Iceberg based syntax are available: https://iceberg.apache.org/docs/latest/spark-ddl/#create-table-as-select
- Vorherrschende Sprache
- TypeScript
- Sterne
- 394
- Forks
- 108
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus DTStack/dt-sql-parser
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
DTStack/dt-sql-parser#493 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
DTStack/dt-sql-parser#490 · 1 Kommentar ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
DTStack/dt-sql-parser#489 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
DTStack/dt-sql-parser#488 ·
-
[Feature Request]: Support CTE statement entity collectionEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offenenhancement improvement
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
DTStack/dt-sql-parser#445 · 2 Kommentare ·
Alle Issues in DTStack/dt-sql-parser
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
NaturalIntelligence/fast-xml-parser#890 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 3 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
zsviczian/obsidian-excalidraw-plugin#3000 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
pnpm/get.pnpm.io#68 ·
-
[BUG] Cloudflare KV binding 模式下 kvDriver.list() 沿用 EdgeOne 语义,字段名不匹配导致 key 格式下初始化 500 并耗尽 list 配额Evtl. vergeben @wumingzhinu hat das heute übernommen. Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100
OpenListTeam/OpenList-Worker#125 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Android (vision-camera-location): HybridLocationManager never quits its HandlerThread on disposeOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
margelo/react-native-vision-camera#4217 ·
Maintainer antworten meist innerhalb von 4 Tagen