Investigate and clarify logging [was: DAG logs are not persisted]
I maintainer di solito rispondono entro 1 giorno
@razvan ci sta già lavorando.
Dal 5/4/2024.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Update April 5th: @razvan hijacked this issue to add more clarifications to how logging works in Airflow in various circumstances. The documentation regarding logging is quite bare.
While investigating a CVE a couple of questions popped out that need clarification.
- How/Where are logs written by the different roles/groups ?
- How is the
/stackable/airflow/logfolder handled by the different roles (scheduler, executor, webserver) ? Why does it even contain files if we configure Airflow to write everything to/stackable/logs? - How do the permissions of
/stackable/logscome to be ? This folder is created multiple places:- the Pod command
- log_config.py
- ...
Following is the original request of this issue
DAG logs are ephemeral. When using the Kubernetes executor, they are only available on the executor pods and are lost when the pods are destroyed. This can be mitigated by the vector log collection infrastructure to save the logs to a remote system. The problem remains that the logs are not accessible via Airflow's web UI.
In addition, during tests it was found that the logs are not accessible in the Airflow web ui even while the executor pods are still alive. This is the bug aspect of this ticket that requires some more investigation.
- Lingua principale
- Rust
- Stelle
- 32
- Fork
- 6
- Merge medio
- 1g 8h
- PR unite (30g)
- 13
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di stackabletech/airflow-operator
-
type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
stackabletech/airflow-operator#855 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue type/feature-improvement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
stackabletech/airflow-operator#760 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 42/100
stackabletech/airflow-operator#697 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
stackabletech/airflow-operator#638 ·
I maintainer di solito rispondono entro 1 giorno
-
type/feature-new
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
stackabletech/airflow-operator#593 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di stackabletech/airflow-operator
Issue simili
-
`categorize_command` has no `uv` arm, so every `rtk uv …` row counts as `other` in the ecosystem mixApertaarea:api bug good first issue priority:low
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
rtk-ai/rtk#4316 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 92/100
I maintainer di solito rispondono entro 1 giorno
-
area/cli kind/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
good first issue open-endedness: low type: new feature
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100