apache/airflow

Support for Kubernetes Executor side task attempt logging for failed tasks in case of task pods doesn't reach running state

Open

#37 435 ouverte le 15 févr. 2024

Voir sur GitHub
 (2 commentaires) (4 réactions) (1 assigné)Python (16 781 forks)batch import
area:providersgood first issuekind:featureprovider:cncf-kubernetes

Métriques du dépôt

Stars
 (44 809 stars)
Métriques de merge PR
 (Merge moyen 7j 18h) (834 PRs mergées en 30 j)

Description

Description

Right now, when the tasks fail due to pod launch failures or the pod is stuck in the pending phase, then the task logs from the UI are empty. It is very inconvenient for airflow consumers to debug it. They might not have access to the scheduler logs. I believe we can push these failure reasons from the Kubernetes executor to task attempt logs (remote). So, that airflow consumers can able to see task failure reasons from the UI.

Use case/motivation

Right now, when the tasks fail due to pod launch failures or the pod is stuck in the pending phase, then the task logs from the UI are empty. It is very inconvenient for airflow consumers to debug it.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Étudiez le cycle de vie des pods de l'exécuteur Kubernetes et les mécanismes de journalisation. Examinez comment les pods ayant échoué avant d'atteindre l'état d'exécution sont traités et implémentez la journalisation dans les journaux de tâches distants.
Stack technique
pythonkubernetes
Domaine
backenddevops
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonKubernetesGitAirflow
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40