feathr-ai/feathr

Add on-prem Spark as a launcher

Open

Aperta il 9 lug 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Scala (1929 star) (244 fork)batch import
featurehelp wanted

Descrizione

Currently Feathr is using cloud based spark service (Azure synapse/Databricks) as runtime, and adding on-prem spark should be straightforward by adding an additional launcher here: https://github.com/linkedin/feathr/tree/main/feathr_project/feathr/spark_provider

Guida contributor

Tech stack
pythonspark
Dominio
backendinfrastructuredata
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 days
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
PythonApache Spark basicsFamiliarity with Feathr launchers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60
Direzione di ricerca
Review existing launchers in https://github.com/linkedin/feathr/tree/main/feathr project/feathr/spark provider to understand the interface. Implement a new launcher class (e.g., 'OnPremSparkLauncher') that initializes a local Spark session using spark submit or programmatic SparkContext. Ensure compatibility with Feathr's job submission flow, and add tests. Check if any existing PRs or comments provide additional guidance.