apache/airflow

SparkKubernetesOperator to support arguments

Open

#16.728 aperta il 30 giu 2021

Vedi su GitHub
 (9 commenti) (0 reazioni) (0 assegnatari)Python (16.781 fork)batch import
area:providersgood first issuekind:documentationkind:featureprovider:cncf-kubernetes

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Need an option ,when triggering a dag via airflow web ui, to pass JSON arguments to SparkKubernetesOperator.

Currently I don't see a way to do it as, SparkKubernetesOperator accepts application.yaml only.

Guida contributor

Direzione di ricerca
Innanzitutto, individua la classe SparkKubernetesOperator nella codebase di Airflow, probabilmente in `airflow/providers/apache/spark/operators/spark kubernetes.py`. Esamina come l'operatore attualmente elabora il file `application.yaml` e dove potrebbero essere iniettati gli argomenti. L'operatore potrebbe aver bisogno di un nuovo parametro per accettare una stringa JSON o un dizionario, che poi viene renderizzato nella specifica SparkApplication. Rivedi gli operatori Airflow esistenti che gestiscono argomenti JSON per individuare pattern. Controlla i commenti dell'issue per eventuali approcci suggeriti o feedback dei maintainer.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
AirflowPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60