delta-io/delta

Unable to write metadata to delta table using scala api

Open

#857 aperta il 7 dic 2021

Vedi su GitHub
 (14 commenti) (9 reazioni) (2 assegnatari)Scala (2100 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (8807 star)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

Extension to #321

When using an api like the one below, the only supported method to write metadata is through the use of the sparkSession which works until a single spark session is performing multiple writes simultaneously. In this case, manipulating the spark session still doesn't provide the ability to pass accurate metadata to the table. Could we find a way to ensure metadata writes are possible at the writer level even when using the following syntax? Thanks

cc @zsxwing

DeltaTable.forPath(target.tableLocation).alias("target")
  .merge(updatesDF, mergeCondition)
  .whenMatched
  .updateAll()
  .whenNotMatched
  .insertAll()
  .execute()

Thank you

Guida contributor

Direzione di ricerca
Indaga su come i metadati vengono scritti durante le operazioni DeltaTable.merge. Traccia il percorso del codice da execute() per vedere dove vengono impostati i metadati e scopri perché la manipolazione della sessione Spark non funziona per scritture concorrenti. Esplora alternative per fornire metadati a livello di writer senza fare affidamento sulla configurazione della sessione Spark.
Tech stack
scalaspark
Dominio
backenddata
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
ScalaSparkDelta Lake
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30