delta-io/delta

Unable to write metadata to delta table using scala api

Open

#857 aberto em 7 de dez. de 2021

Ver no GitHub
 (14 comments) (9 reactions) (2 assignees)Scala (2.100 forks)batch import
enhancementgood first issue

Métricas do repositório

Stars
 (8.807 stars)
Métricas de merge de PR
 (Mesclagem média 7d 1h) (142 fundiu PRs em 30d)

Description

Extension to #321

When using an api like the one below, the only supported method to write metadata is through the use of the sparkSession which works until a single spark session is performing multiple writes simultaneously. In this case, manipulating the spark session still doesn't provide the ability to pass accurate metadata to the table. Could we find a way to ensure metadata writes are possible at the writer level even when using the following syntax? Thanks

cc @zsxwing

DeltaTable.forPath(target.tableLocation).alias("target")
  .merge(updatesDF, mergeCondition)
  .whenMatched
  .updateAll()
  .whenNotMatched
  .insertAll()
  .execute()

Thank you

Guia do colaborador

Direção de pesquisa
Investigue como os metadados são escritos durante as operações DeltaTable.merge. Siga o caminho do código desde execute() para ver onde os metadados são definidos e descubra por que a manipulação da sessão Spark não funciona para gravações simultâneas. Explore alternativas para fornecer metadados no nível do writer sem depender da configuração da sessão Spark.
Pilha de tecnologia
scalaspark
Domain
backenddata
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
ScalaSparkDelta Lake
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30