apache/airflow

CloudRunExecuteJobOperator - logs from inside the container are not shown in Airflow

Fechada

#36.963 aberto em 23 de jan. de 2024

Ver no GitHubGuia do colaborador
 (28 comentários) (10 reações) (0 responsável)Python (16.781 forks)batch import
area:providersgood first issuekind:featureprovider:google

Métricas do repositório

Stars
 (44.809 estrelas)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

Unlike the operators I'm accustomed to, the default logger is not returning the cloud run jobs logs to the airflow task.

Use case/motivation

Avoids the context switching of navigating to GCP Cloud or Cloud Logging to access logs.

To submit I'd need guidance on the testing in particular. Well and the debugging of course. I don't understand why the logging is not working.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Investigue a lógica de recuperação de logs do CloudRunExecuteJobOperator. Compare com outros operadores que transmitem logs com sucesso. Verifique se o cliente de log está inicializado corretamente e se o fluxo de logs está sendo lido corretamente.
Pilha de tecnologia
python
Domain
backendcloudobservability
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PythonAirflowGCP
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65