feathr-ai/feathr

Add EMR on AWS as a spark launcher

Open

#446 aperta il 9 lug 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Scala (244 fork)batch import
featurehelp wanted

Metriche repository

Star
 (1929 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Currently Feathr supports databricks on AWS; however it doesn't support EMR as a spark launcher.

Guida contributor

Direzione di ricerca
Esamina l'implementazione esistente del launcher Databricks e adattala per funzionare con Amazon EMR, garantendo la compatibilità con il flusso di invio dei job Spark di Feathr.
Tech stack
scalaspark
Dominio
data engineeringbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
SparkAWS
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50