[Feature Request]: Spark SQL Iceberg table support
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- spark, sql, typescript
- Área
- data-engineering, tooling
Línea de trabajo
Comienza reproduciendo la consulta de ejemplo con el analizador de Spark SQL y compárala con los ejemplos enlazados de Iceberg Spark DDL. Se considera terminado cuando el analizador acepta referencias de cuatro partes catalog.db.table.branch y las uniones y alias mostrados sin los errores indicados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Topic
Support new SQL
Description
Currently linter does not support Iceberg syntax operations. One of the gaps identified was the lack of 4 parts table support convention which now can consist of catalog.db.table.branch. Fore example:
select
h.made_current_at,
s.operation,
h.snapshot_id,
h.is_current_ancestor,
s.summary['spark.app.id']
from prod.db.table.history h
join prod.db.table.snapshots s
on h.snapshot_id = s.snapshot_id
order by made_current_at;
Error text:
* Line:7 - 'table' is not valid at this position, expecting an existing function; Line:7 - '.' is not valid at this position; Line:7 - 'h' is not valid at this position; Line:8 - '.' is not valid at this position; Line:8 - 's' is not valid at this position;
Samples of Iceberg based syntax are available: https://iceberg.apache.org/docs/latest/spark-ddl/#create-table-as-select
- Lenguaje dominante
- TypeScript
- Estrellas
- 394
- Forks
- 108
- Merge medio
- 5 min
- PR fusionados (30 d)
- 1
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de DTStack/dt-sql-parser
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
DTStack/dt-sql-parser#493 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
DTStack/dt-sql-parser#490 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
DTStack/dt-sql-parser#489 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
DTStack/dt-sql-parser#488 ·
-
enhancement improvement
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
DTStack/dt-sql-parser#445 · 2 comentarios ·
Todos los issues de DTStack/dt-sql-parser
Issues similares
-
VerificationGate: ATTRIBUTION quote guard never matches a normal quotation (\b around the quote) Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
danielmiessler/LifeOS#2234 ·
-
T: Bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
Mend: dependency security vulnerability untriaged
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100