apache/airflow

Log exceptions as warnings till the final attempt

Open

#32.246 aperta il 28 giu 2023

Vedi su GitHub
 (10 commenti) (1 reazione) (0 assegnatari)Python (16.781 fork)batch import
good first issuekind:feature

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Description

We have an integration with sentry on Google cloud composer. We would like to be alerted for any exceptions happening in airflow , but don't want to be alerted when those exceptions would be retried. We tried setting alert conditions on number of errors, but it does not solve the problem as we have hundreds of instances of a DAG running.

Requirements:

  1. Log as warning when try_number is less than equal to max_tries.
  2. Log as an error in the final try.

Use case/motivation

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Analizza il flusso di esecuzione dell'istanza del task in Airflow, in particolare il meccanismo di registrazione in `airflow/models/taskinstance.py`. Esamina come vengono tracciati `try number` e `max tries` e dove vengono registrate le eccezioni. La modifica probabilmente comporta la modifica del livello di log in base al fatto che il tentativo corrente sia l'ultimo ritentativo. Controlla le chiamate di log esistenti nei metodi ` execute task` o simili e considera l'uso di `logging.Logger.warning` per i tentativi non finali e `logging.Logger.error` per il tentativo finale.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAirflow
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70