apache/airflow

Tasks that are running when a DAG run reaches its timeout should optionally support `on_killed`

Open

#41,036 opened on 2024年7月26日

GitHub で見る
 (9 comments) (1 reaction) (0 assignees)Python (16,781 forks)batch import
area:Schedulergood first issuekind:feature

Repository metrics

Stars
 (44,809 stars)
PR merge metrics
 (平均マージ 7d 18h) (30d で 834 merged PRs)

説明

Description

The current functionality for task instances that are in the running state when a DAG run reaches its timeout is controversial (see #30264). It'd be great if users could optionally allow tasks' on_kill method to be called at this time.

Use case/motivation

Some users would like for externally running workloads (e.g. snowflake, emr, bigquery, etc etc) to stop executing when a DAG run times out.

Related issues

#30264

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

コントリビューターガイド

調査方針
AirflowがDAG実行のタイムアウトとタスク強制終了をどのように処理するかを調査し、特に`on kill`コールバックに焦点を当てます。`taskinstance.py`と`dagrun.py`の既存のロジックを調べて、タスクがどこで終了されるか、タイムアウト中に`on kill`をオプションで呼び出す方法を理解します。設定フラグの追加を検討してください。
技術スタック
python
領域
backend
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
PythonAirflow internals
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60