apache/airflow

Display entire KubernetesExecutor worker pod logs when task is running instead of only the last 100 lines

Open

#48.710 aberto em 2 de abr. de 2025

Ver no GitHub
 (6 comments) (0 reactions) (0 assignees)Python (16.781 forks)batch import
area:logginggood first issuekind:featureprovider:cncf-kubernetes

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

When a task is in the running state, only the last 100 lines are streamed from the worker pod (with KubernetesExecutor). The entire logs appear once the task is completed. The 100 line limit is hardcoded here.

We should allow this limit to be configurable or display all logs that have been generated so far instead of only the last 100 lines.

Use case/motivation

Users might need the entire log history or more context to ensure that long running tasks are executing as expected.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Encontre o limite hardcoded no código do KubernetesExecutor e torne o configurável por meio de uma opção de configuração do Airflow. Em seguida, use esse valor de configuração no método de streaming de logs.
Pilha de tecnologia
python
Domain
observabilitybackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonKubernetes
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75