apache/airflow

Display entire KubernetesExecutor worker pod logs when task is running instead of only the last 100 lines

Open

#48 710 ouverte le 2 avr. 2025

Voir sur GitHub
 (6 commentaires) (0 réactions) (0 assignés)Python (16 781 forks)batch import
area:logginggood first issuekind:featureprovider:cncf-kubernetes

Métriques du dépôt

Stars
 (44 809 stars)
Métriques de merge PR
 (Merge moyen 7j 18h) (834 PRs mergées en 30 j)

Description

Description

When a task is in the running state, only the last 100 lines are streamed from the worker pod (with KubernetesExecutor). The entire logs appear once the task is completed. The 100 line limit is hardcoded here.

We should allow this limit to be configurable or display all logs that have been generated so far instead of only the last 100 lines.

Use case/motivation

Users might need the entire log history or more context to ensure that long running tasks are executing as expected.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Trouvez la limite codée en dur dans le code KubernetesExecutor et rendez la configurable via une option de configuration d'Airflow. Utilisez ensuite cette valeur de configuration dans la méthode de streaming des logs.
Stack technique
python
Domaine
observabilitybackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonKubernetes
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75