feathr-ai/feathr

Allow `OUTPUT_PARALLELISM` and `OVERWRITE_MODE` in join output

Open

#91 geöffnet am 24. März 2022

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Scala (1.929 Stars) (244 Forks)batch import
buggood first issuehelp wanted

Beschreibung

Seems it's not honored per this line: https://github.com/linkedin/feathr/blob/main/src/main/scala/com/linkedin/feathr/offline/generation/SparkIOUtils.scala#L21

Contributor Guide

Tech Stack
scala
Domain
data
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
needs investigation
Voraussetzungen
Basic ScalaFamiliarity with Spark output modes
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
25
Research-Richtung
Start by examining the referenced line (SparkIOUtils.scala:21) and trace how OUTPUT PARALLELISM and OVERWRITE MODE are currently handled in the output path. Check if similar settings are applied in other parts of the Feathr codebase, such as for non join outputs. Review any existing tests or comments in the issue to understand the expected behavior. If possible, look at recent commits or PRs that might have addressed this partially.