delta-io/delta

[Feature Request] Refactor SQL configuration properties to remove `databricks` prefix

Aperta

#1384 aperta il 19 set 2022

Vedi su GitHubGuida contributor
 (7 commenti) (2 reazioni) (1 assegnatario)Scala (2157 fork)batch import
enhancementgood first issuenot-stale

Metriche repository

Star
 (8945 stelle)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

Feature request

Overview

Currently, Delta SQL configuration properties (link) are prefixed with spark.databricks.delta.

We should refactor this to be only spark.delta, while still maintaining support for legacy spark.databricks.delta usages.

Motivation

Delta Lake is an open-source project and we should clean up + refactor code (especially public-facing APIs like a SQL conf) to remove any references to databricks.

Guida contributor

Direzione di ricerca
Identifica tutte le chiavi di configurazione con prefisso `spark.databricks.delta` in `DeltaSQLConf.scala` e altrove, quindi crea un mapping verso le nuove chiavi `spark.delta` implementando un fallback per quelle legacy. Aggiorna tutti i riferimenti e assicurati che i test esistenti passino.
Tech stack
scalaspark
Dominio
datadatabase
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
ScalaGitApache Spark
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50