Investigate and clarify logging [was: DAG logs are not persisted]
Mantenedores costumam responder em até 1 dia
@razvan já está trabalhando nisso.
Desde 5/4/2024.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
Update April 5th: @razvan hijacked this issue to add more clarifications to how logging works in Airflow in various circumstances. The documentation regarding logging is quite bare.
While investigating a CVE a couple of questions popped out that need clarification.
- How/Where are logs written by the different roles/groups ?
- How is the
/stackable/airflow/logfolder handled by the different roles (scheduler, executor, webserver) ? Why does it even contain files if we configure Airflow to write everything to/stackable/logs? - How do the permissions of
/stackable/logscome to be ? This folder is created multiple places:- the Pod command
- log_config.py
- ...
Following is the original request of this issue
DAG logs are ephemeral. When using the Kubernetes executor, they are only available on the executor pods and are lost when the pods are destroyed. This can be mitigated by the vector log collection infrastructure to save the logs to a remote system. The problem remains that the logs are not accessible via Airflow's web UI.
In addition, during tests it was found that the logs are not accessible in the Airflow web ui even while the executor pods are still alive. This is the bug aspect of this ticket that requires some more investigation.
- Linguagem predominante
- Rust
- Estrelas
- 32
- Forks
- 6
- Merge médio
- 21h 38min
- PRs com merge (30d)
- 13
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de stackabletech/airflow-operator
-
type/bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
stackabletech/airflow-operator#855 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
good first issue type/feature-improvement
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
stackabletech/airflow-operator#760 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 42/100
stackabletech/airflow-operator#697 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
stackabletech/airflow-operator#638 ·
Mantenedores costumam responder em até 1 dia
-
type/feature-new
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
stackabletech/airflow-operator#593 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de stackabletech/airflow-operator
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
-
area: cli bug priority: P2 ready-for-agent
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
Mantenedores costumam responder em até 1 dia