feathr-ai/feathr

Allow `OUTPUT_PARALLELISM` and `OVERWRITE_MODE` in join output

Open

#91 aperta il 24 mar 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Scala (244 fork)batch import
buggood first issuehelp wanted

Metriche repository

Star
 (1929 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Seems it's not honored per this line: https://github.com/linkedin/feathr/blob/main/src/main/scala/com/linkedin/feathr/offline/generation/SparkIOUtils.scala#L21

Guida contributor

Direzione di ricerca
Ispeziona la riga di riferimento in SparkIOUtils.scala e aggiungi il supporto per i parametri OUTPUT PARALLELISM e OVERWRITE MODE nella configurazione dell'output di join.
Tech stack
scala
Dominio
backenddata engineering
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitScala
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75