apache/airflow

Tasks that are running when a DAG run reaches its timeout should optionally support `on_killed`

Open

#41.036 aperta il 26 lug 2024

Vedi su GitHub
 (9 commenti) (1 reazione) (0 assegnatari)Python (16.781 fork)batch import
area:Schedulergood first issuekind:feature

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Description

The current functionality for task instances that are in the running state when a DAG run reaches its timeout is controversial (see #30264). It'd be great if users could optionally allow tasks' on_kill method to be called at this time.

Use case/motivation

Some users would like for externally running workloads (e.g. snowflake, emr, bigquery, etc etc) to stop executing when a DAG run times out.

Related issues

#30264

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Esamina come Airflow gestisce i timeout delle esecuzioni DAG e il kill dei task, concentrandoti sul callback `on kill`. Analizza la logica esistente in `taskinstance.py` e `dagrun.py` per capire dove i task vengono terminati e come chiamare opzionalmente `on kill` durante il timeout. Considera l'aggiunta di un flag di configurazione.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAirflow internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60