apache/airflow

SparkKubernetesOperator to support arguments

Open

#16,728 建立於 2021年6月30日

在 GitHub 查看
 (9 留言) (0 反應) (0 負責人)Python (16,781 fork)batch import
area:providersgood first issuekind:documentationkind:featureprovider:cncf-kubernetes

倉庫指標

Star
 (44,809 star)
PR 合併指標
 (平均合併 7天 18小時) (30 天內合併 834 個 PR)

描述

Need an option ,when triggering a dag via airflow web ui, to pass JSON arguments to SparkKubernetesOperator.

Currently I don't see a way to do it as, SparkKubernetesOperator accepts application.yaml only.

貢獻者指南

研究方向
首先，在 Airflow 程式碼庫中找到 SparkKubernetesOperator 類別，很可能位於 `airflow/providers/apache/spark/operators/spark kubernetes.py`。檢查該運算子目前如何處理 `application.yaml` 以及可以在何處注入參數。該運算子可能需要一個新的參數來接受 JSON 字串或字典，然後將其渲染到 SparkApplication 規格中。查看現有的處理 JSON 參數的 Airflow 運算子以尋找模式。查看 issue 評論以獲取任何建議的方法或維護者的回饋。
技術棧
python
領域
backend
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
半天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
AirflowPython
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
60