apache/airflow

Support for Kubernetes Executor side task attempt logging for failed tasks in case of task pods doesn't reach running state

Open

#37.435 aberto em 15 de fev. de 2024

Ver no GitHub
 (2 comments) (4 reactions) (1 assignee)Python (16.781 forks)batch import
area:providersgood first issuekind:featureprovider:cncf-kubernetes

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

Right now, when the tasks fail due to pod launch failures or the pod is stuck in the pending phase, then the task logs from the UI are empty. It is very inconvenient for airflow consumers to debug it. They might not have access to the scheduler logs. I believe we can push these failure reasons from the Kubernetes executor to task attempt logs (remote). So, that airflow consumers can able to see task failure reasons from the UI.

Use case/motivation

Right now, when the tasks fail due to pod launch failures or the pod is stuck in the pending phase, then the task logs from the UI are empty. It is very inconvenient for airflow consumers to debug it.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Investigue o ciclo de vida dos pods do executor Kubernetes e os mecanismos de registro. Veja como os pods que falham antes de atingir o estado de execução são tratados e implemente o registro nos logs de tarefas remotas.
Pilha de tecnologia
pythonkubernetes
Domain
backenddevops
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonKubernetesGitAirflow
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40