apache/airflow

CloudRunExecuteJobOperator - logs from inside the container are not shown in Airflow

Chiusa

#36.963 aperta il 23 gen 2024

Vedi su GitHubGuida contributor
 (28 commenti) (10 reazioni) (0 assegnatari)Python (16.781 fork)batch import
area:providersgood first issuekind:featureprovider:google

Metriche repository

Star
 (44.809 stelle)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Description

Unlike the operators I'm accustomed to, the default logger is not returning the cloud run jobs logs to the airflow task.

Use case/motivation

Avoids the context switching of navigating to GCP Cloud or Cloud Logging to access logs.

To submit I'd need guidance on the testing in particular. Well and the debugging of course. I don't understand why the logging is not working.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Investiga la logica di recupero dei log di CloudRunExecuteJobOperator. Confronta con altri operatori che trasmettono correttamente i log. Verifica che il client di log sia inizializzato correttamente e che il flusso di log sia letto correttamente.
Tech stack
python
Dominio
backendcloudobservability
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonAirflowGCP
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65