Investigate and clarify logging [was: DAG logs are not persisted]
Maintainer thường phản hồi trong vòng 1 ngày
@razvan đang làm issue này rồi.
Từ ngày 5/4/2024.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Update April 5th: @razvan hijacked this issue to add more clarifications to how logging works in Airflow in various circumstances. The documentation regarding logging is quite bare.
While investigating a CVE a couple of questions popped out that need clarification.
- How/Where are logs written by the different roles/groups ?
- How is the
/stackable/airflow/logfolder handled by the different roles (scheduler, executor, webserver) ? Why does it even contain files if we configure Airflow to write everything to/stackable/logs? - How do the permissions of
/stackable/logscome to be ? This folder is created multiple places:- the Pod command
- log_config.py
- ...
Following is the original request of this issue
DAG logs are ephemeral. When using the Kubernetes executor, they are only available on the executor pods and are lost when the pods are destroyed. This can be mitigated by the vector log collection infrastructure to save the logs to a remote system. The problem remains that the logs are not accessible via Airflow's web UI.
In addition, during tests it was found that the logs are not accessible in the Airflow web ui even while the executor pods are still alive. This is the bug aspect of this ticket that requires some more investigation.
- Ngôn ngữ chính
- Rust
- Star
- 32
- Fork
- 6
- Merge trung bình
- 2 ngày 1 giờ
- Pull request đã merge (30 ngày)
- 15
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/airflow-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
stackabletech/airflow-operator#855 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue type/feature-improvement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/airflow-operator#760 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 42/100
stackabletech/airflow-operator#697 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
stackabletech/airflow-operator#638 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Integrate DAG editor in AirflowĐang mởtype/feature-new
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
stackabletech/airflow-operator#593 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của stackabletech/airflow-operator
Issue tương tự
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
zcashlabs/thus-spoke-zakura#153 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
claude_code: step fails on session-scoped (`@inline`) plugins with `Invalid scope "session"`Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
topgrade-rs/topgrade#2395 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
app bug windows-os
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Improve sublime text syntaxĐang mởeditor good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
funnyboy-roks/inq#54 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pnpm/pnpm#16635 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày