apache/airflow

Tasks that are running when a DAG run reaches its timeout should optionally support `on_killed`

Open

#41.036 geöffnet am 26. Juli 2024

Auf GitHub ansehen
 (9 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (16.781 Forks)batch import
area:Schedulergood first issuekind:feature

Repository-Metriken

Stars
 (44.809 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Description

The current functionality for task instances that are in the running state when a DAG run reaches its timeout is controversial (see #30264). It'd be great if users could optionally allow tasks' on_kill method to be called at this time.

Use case/motivation

Some users would like for externally running workloads (e.g. snowflake, emr, bigquery, etc etc) to stop executing when a DAG run times out.

Related issues

#30264

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Contributor Guide

Research-Richtung
Untersuche, wie Airflow DAG Laufzeitüberschreitungen und Task Beendigung behandelt, mit Fokus auf den `on kill` Callback. Analysiere die vorhandene Logik in `taskinstance.py` und `dagrun.py`, um zu verstehen, wo Tasks beendet werden und wie optional `on kill` während des Timeouts aufgerufen werden kann. Erwäge das Hinzufügen eines Konfigurationsflags.
Tech Stack
python
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonAirflow internals
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60