Investigate and clarify logging [was: DAG logs are not persisted]
Los mantenedores suelen responder en 1 día
@razvan ya está trabajando en esto.
Desde el 5/4/2024.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Update April 5th: @razvan hijacked this issue to add more clarifications to how logging works in Airflow in various circumstances. The documentation regarding logging is quite bare.
While investigating a CVE a couple of questions popped out that need clarification.
- How/Where are logs written by the different roles/groups ?
- How is the
/stackable/airflow/logfolder handled by the different roles (scheduler, executor, webserver) ? Why does it even contain files if we configure Airflow to write everything to/stackable/logs? - How do the permissions of
/stackable/logscome to be ? This folder is created multiple places:- the Pod command
- log_config.py
- ...
Following is the original request of this issue
DAG logs are ephemeral. When using the Kubernetes executor, they are only available on the executor pods and are lost when the pods are destroyed. This can be mitigated by the vector log collection infrastructure to save the logs to a remote system. The problem remains that the logs are not accessible via Airflow's web UI.
In addition, during tests it was found that the logs are not accessible in the Airflow web ui even while the executor pods are still alive. This is the bug aspect of this ticket that requires some more investigation.
- Lenguaje dominante
- Rust
- Estrellas
- 32
- Forks
- 6
- Merge medio
- 21 h 38 min
- PR fusionados (30 d)
- 13
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/airflow-operator
-
type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
stackabletech/airflow-operator#855 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
good first issue type/feature-improvement
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/airflow-operator#760 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 42/100
stackabletech/airflow-operator#697 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
stackabletech/airflow-operator#638 ·
Los mantenedores suelen responder en 1 día
-
Integrate DAG editor in AirflowAbiertotype/feature-new
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
stackabletech/airflow-operator#593 ·
Los mantenedores suelen responder en 1 día
Todos los issues de stackabletech/airflow-operator
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
canonical/opentelemetry-collector-operator#409 ·
Los mantenedores suelen responder en 1 día
-
codegen: memref.collapse_shape in an mlir! block leaves an affine.apply that is never loweredAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
bug CLI exec tool-calls
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día