apache/airflow

SparkKubernetesOperator to support arguments

Open

#16,728 创建于 2021年6月30日

在 GitHub 查看
 (9 评论) (0 反应) (0 负责人)Python (16,781 fork)batch import
area:providersgood first issuekind:documentationkind:featureprovider:cncf-kubernetes

仓库指标

Star
 (44,809 star)
PR 合并指标
 (平均合并 7天 18小时) (30 天内合并 834 个 PR)

描述

Need an option ,when triggering a dag via airflow web ui, to pass JSON arguments to SparkKubernetesOperator.

Currently I don't see a way to do it as, SparkKubernetesOperator accepts application.yaml only.

贡献者指南

研究方向
首先，在 Airflow 代码库中找到 SparkKubernetesOperator 类，很可能位于 `airflow/providers/apache/spark/operators/spark kubernetes.py`。检查该操作符当前如何处理 `application.yaml` 以及可以在何处注入参数。该操作符可能需要一个新的参数来接受 JSON 字符串或字典，然后将其渲染到 SparkApplication 规范中。查看现有的处理 JSON 参数的 Airflow 操作符以寻找模式。查看 issue 评论以获取任何建议的方法或维护者的反馈。
技术栈
python
领域
backend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
AirflowPython
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
60