feathr-ai/feathr

Allow `OUTPUT_PARALLELISM` and `OVERWRITE_MODE` in join output

Open

Aperta il 24 mar 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Scala (1929 star) (244 fork)batch import
buggood first issuehelp wanted

Descrizione

Seems it's not honored per this line: https://github.com/linkedin/feathr/blob/main/src/main/scala/com/linkedin/feathr/offline/generation/SparkIOUtils.scala#L21

Guida contributor

Tech stack
scala
Dominio
data
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
needs investigation
Prerequisiti
Basic ScalaFamiliarity with Spark output modes
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25
Direzione di ricerca
Start by examining the referenced line (SparkIOUtils.scala:21) and trace how OUTPUT PARALLELISM and OVERWRITE MODE are currently handled in the output path. Check if similar settings are applied in other parts of the Feathr codebase, such as for non join outputs. Review any existing tests or comments in the issue to understand the expected behavior. If possible, look at recent commits or PRs that might have addressed this partially.