[Feature Request]: Spark SQL Iceberg table support
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 45/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- spark, sql, typescript
- Domínio
- data-engineering, tooling
Direção de pesquisa
Comece reproduzindo a consulta de exemplo no parser do Spark SQL e compare-a com os exemplos vinculados de Iceberg Spark DDL. Está concluído quando o parser aceita referências de quatro partes catalog.db.table.branch e os joins e aliases mostrados sem os erros relatados.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Topic
Support new SQL
Description
Currently linter does not support Iceberg syntax operations. One of the gaps identified was the lack of 4 parts table support convention which now can consist of catalog.db.table.branch. Fore example:
select
h.made_current_at,
s.operation,
h.snapshot_id,
h.is_current_ancestor,
s.summary['spark.app.id']
from prod.db.table.history h
join prod.db.table.snapshots s
on h.snapshot_id = s.snapshot_id
order by made_current_at;
Error text:
* Line:7 - 'table' is not valid at this position, expecting an existing function; Line:7 - '.' is not valid at this position; Line:7 - 'h' is not valid at this position; Line:8 - '.' is not valid at this position; Line:8 - 's' is not valid at this position;
Samples of Iceberg based syntax are available: https://iceberg.apache.org/docs/latest/spark-ddl/#create-table-as-select
- Linguagem predominante
- TypeScript
- Estrelas
- 394
- Forks
- 108
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de DTStack/dt-sql-parser
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
DTStack/dt-sql-parser#493 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
DTStack/dt-sql-parser#490 · 1 comentário ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
DTStack/dt-sql-parser#489 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
DTStack/dt-sql-parser#488 ·
-
[Feature Request]: Support CTE statement entity collectionTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Abertaenhancement improvement
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
DTStack/dt-sql-parser#445 · 2 comentários ·
Todas as issues de DTStack/dt-sql-parser
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
JoviDeCroock/pracht#432 ·
Mantenedores costumam responder em até 1 dia
-
Add: CNN en Espanol SDAbertaapproved check:passed streams:add
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 75/100
Mantenedores costumam responder em até 1 dia
-
Hardware attribute name "app Connection Support" has inconsistent casingTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
walletbeat/walletbeat#1628 ·
Mantenedores costumam responder em até 1 dia
-
bug go
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
genkit-ai/genkit#6761 · 1 comentário ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
NousResearch/hermes-agent#136483 ·
Mantenedores costumam responder em até 1 dia