apache/airflow

Tasks that are running when a DAG run reaches its timeout should optionally support `on_killed`

Aperta

#41.036 aperta il 26 lug 2024

Vedi su GitHubGuida contributor
 (9 commenti) (1 reazione) (0 assegnatari)Python (16.781 fork)batch import
area:Schedulergood first issuekind:feature

Metriche repository

Star
 (44.809 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Description

The current functionality for task instances that are in the running state when a DAG run reaches its timeout is controversial (see #30264). It'd be great if users could optionally allow tasks' on_kill method to be called at this time.

Use case/motivation

Some users would like for externally running workloads (e.g. snowflake, emr, bigquery, etc etc) to stop executing when a DAG run times out.

Related issues

#30264

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Esamina come Airflow gestisce i timeout delle esecuzioni DAG e il kill dei task, concentrandoti sul callback `on kill`. Analizza la logica esistente in `taskinstance.py` e `dagrun.py` per capire dove i task vengono terminati e come chiamare opzionalmente `on kill` durante il timeout. Considera l'aggiunta di un flag di configurazione.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAirflow internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60