delta-io/delta

Unable to write metadata to delta table using scala api

Open

#857 ouverte le 7 déc. 2021

Voir sur GitHub
 (14 commentaires) (9 réactions) (2 assignés)Scala (2 100 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (8 807 stars)
Métriques de merge PR
 (Merge moyen 7j 1h) (142 PRs mergées en 30 j)

Description

Extension to #321

When using an api like the one below, the only supported method to write metadata is through the use of the sparkSession which works until a single spark session is performing multiple writes simultaneously. In this case, manipulating the spark session still doesn't provide the ability to pass accurate metadata to the table. Could we find a way to ensure metadata writes are possible at the writer level even when using the following syntax? Thanks

cc @zsxwing

DeltaTable.forPath(target.tableLocation).alias("target")
  .merge(updatesDF, mergeCondition)
  .whenMatched
  .updateAll()
  .whenNotMatched
  .insertAll()
  .execute()

Thank you

Guide contributeur

Direction de recherche
Recherchez comment les métadonnées sont écrites lors des opérations DeltaTable.merge. Suivez le chemin du code depuis execute() pour voir où les métadonnées sont définies et découvrez pourquoi la manipulation de la session Spark ne fonctionne pas pour les écritures simultanées. Explorez des alternatives pour fournir des métadonnées au niveau de l'écrivain sans dépendre de la configuration de la session Spark.
Stack technique
scalaspark
Domaine
backenddata
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
ScalaSparkDelta Lake
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30