apache/airflow

SparkKubernetesOperator to support arguments

Open

#16 728 ouverte le 30 juin 2021

Voir sur GitHub
 (9 commentaires) (0 réactions) (0 assignés)Python (16 781 forks)batch import
area:providersgood first issuekind:documentationkind:featureprovider:cncf-kubernetes

Métriques du dépôt

Stars
 (44 809 stars)
Métriques de merge PR
 (Merge moyen 7j 18h) (834 PRs mergées en 30 j)

Description

Need an option ,when triggering a dag via airflow web ui, to pass JSON arguments to SparkKubernetesOperator.

Currently I don't see a way to do it as, SparkKubernetesOperator accepts application.yaml only.

Guide contributeur

Direction de recherche
Tout d'abord, localisez la classe SparkKubernetesOperator dans la base de code d'Airflow, probablement dans `airflow/providers/apache/spark/operators/spark kubernetes.py`. Examinez comment l'opérateur traite actuellement le fichier `application.yaml` et où les arguments pourraient être injectés. L'opérateur pourrait avoir besoin d'un nouveau paramètre pour accepter une chaîne JSON ou un dictionnaire, qui est ensuite rendu dans la spécification SparkApplication. Passez en revue les opérateurs Airflow existants qui gèrent les arguments JSON pour identifier des modèles. Consultez les commentaires de l'issue pour toute approche suggérée ou retour des mainteneurs.
Stack technique
python
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
AirflowPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60