Investigate and clarify logging [was: DAG logs are not persisted]
Les mainteneurs répondent en général sous 1 jour
@razvan y travaille déjà.
Depuis le 5/4/2024.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
Update April 5th: @razvan hijacked this issue to add more clarifications to how logging works in Airflow in various circumstances. The documentation regarding logging is quite bare.
While investigating a CVE a couple of questions popped out that need clarification.
- How/Where are logs written by the different roles/groups ?
- How is the
/stackable/airflow/logfolder handled by the different roles (scheduler, executor, webserver) ? Why does it even contain files if we configure Airflow to write everything to/stackable/logs? - How do the permissions of
/stackable/logscome to be ? This folder is created multiple places:- the Pod command
- log_config.py
- ...
Following is the original request of this issue
DAG logs are ephemeral. When using the Kubernetes executor, they are only available on the executor pods and are lost when the pods are destroyed. This can be mitigated by the vector log collection infrastructure to save the logs to a remote system. The problem remains that the logs are not accessible via Airflow's web UI.
In addition, during tests it was found that the logs are not accessible in the Airflow web ui even while the executor pods are still alive. This is the bug aspect of this ticket that requires some more investigation.
- Langage dominant
- Rust
- Étoiles
- 32
- Forks
- 6
- Merge moyen
- 2 j 18 h
- PR mergées (30 j)
- 16
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de stackabletech/airflow-operator
-
type/bug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
stackabletech/airflow-operator#855 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
good first issue type/feature-improvement
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
stackabletech/airflow-operator#760 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 42/100
stackabletech/airflow-operator#697 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
stackabletech/airflow-operator#638 ·
Les mainteneurs répondent en général sous 1 jour
-
Integrate DAG editor in AirflowOuvertetype/feature-new
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
stackabletech/airflow-operator#593 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de stackabletech/airflow-operator
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
storytold/photocraft#5260 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
extendr/extendr.github.io#134 ·
-
awaiting-response bug
Difficulté 1/5 Moins d'une heure Accessibilité débutants 72/100
wildcard/caro#1655 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour