apache/airflow

Log exceptions as warnings till the final attempt

Ouverte

#32 246 ouverte le 28 juin 2023

Voir sur GitHubGuide contributeur
 (10 commentaires) (1 réaction) (0 personne assignée)Python (16 781 forks)batch import
good first issuekind:feature

Métriques du dépôt

Stars
 (44 809 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Description

We have an integration with sentry on Google cloud composer. We would like to be alerted for any exceptions happening in airflow , but don't want to be alerted when those exceptions would be retried. We tried setting alert conditions on number of errors, but it does not solve the problem as we have hundreds of instances of a DAG running.

Requirements:

  1. Log as warning when try_number is less than equal to max_tries.
  2. Log as an error in the final try.

Use case/motivation

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Étudiez le flux d'exécution de l'instance de tâche dans Airflow, en particulier le mécanisme de journalisation dans `airflow/models/taskinstance.py`. Examinez comment `try number` et `max tries` sont suivis et où les exceptions sont enregistrées. Le changement implique probablement de modifier le niveau de journalisation en fonction de si la tentative actuelle est la dernière relance. Vérifiez les appels de journalisation existants dans les méthodes ` execute task` ou similaires, et envisagez d'utiliser `logging.Logger.warning` pour les tentatives non finales et `logging.Logger.error` pour la tentative finale.
Stack technique
python
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonAirflow
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70