apache/airflow

Support for Kubernetes Executor side task attempt logging for failed tasks in case of task pods doesn't reach running state

Open

#37.435 geöffnet am 15. Feb. 2024

Auf GitHub ansehen
 (2 Kommentare) (4 Reaktionen) (1 zugewiesene Person)Python (16.781 Forks)batch import
area:providersgood first issuekind:featureprovider:cncf-kubernetes

Repository-Metriken

Stars
 (44.809 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Description

Right now, when the tasks fail due to pod launch failures or the pod is stuck in the pending phase, then the task logs from the UI are empty. It is very inconvenient for airflow consumers to debug it. They might not have access to the scheduler logs. I believe we can push these failure reasons from the Kubernetes executor to task attempt logs (remote). So, that airflow consumers can able to see task failure reasons from the UI.

Use case/motivation

Right now, when the tasks fail due to pod launch failures or the pod is stuck in the pending phase, then the task logs from the UI are empty. It is very inconvenient for airflow consumers to debug it.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Contributor Guide

Research-Richtung
Untersuchen Sie den Pod Lebenszyklus des Kubernetes Executors und die Protokollierungsmechanismen. Sehen Sie sich an, wie fehlgeschlagene Pods vor dem Ausführungsstatus behandelt werden, und implementieren Sie die Protokollierung in entfernte Aufgabenprotokolle.
Tech Stack
pythonkubernetes
Domain
backenddevops
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonKubernetesGitAirflow
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40