Integrate DAG editor in Airflow
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- git, kubernetes
- Lĩnh vực
- authorization, devops, infrastructure
Hướng nghiên cứu
Bắt đầu bằng cách xem xét cấu hình CRD của operator và các tích hợp GitSync và Open Policy Agent hiện có được đề cập trong issue. Đánh giá cách trình chỉnh sửa mã Airflow sẽ phù hợp với Docker image, GitSync và cơ chế lưu trữ DAG dựa trên PVC. Được xem là hoàn thành khi có một trình chỉnh sửa được cấu hình với quyền truy cập dựa trên vai trò và một đường dẫn provision và persistence được xác định cho các DAG được tạo từ UI.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Current Situation
We offer the customer to inject DAGs into airflow in two ways:
- Customers can mount a
configMapinto the Airflow pod and store theDAGsthere. - Customers can use GitSync to host
DAGsin an git repository.
Both ways need a way to interact either with kubernetes itself or with git.
Proposed Situation
Customers can log into Airflow and edit DAGs in the Airflow UI.
To archive this, we'd need to include an editor in airflow dockerimage and make it configurable through the operators CRD. I'd propose https://github.com/andreax79/airflow-code-editor as an candidate.
Advantage
Now where https://github.com/stackabletech/airflow-operator/pull/573 is merged, we offer deeply integrated Open Policy Agent support, which would lead to the advantage to offer role based editor access to data engineers or product owners. There wouldn't be a need to have knowledge of kuberentes or git to modify, develop and deploy DAGs. In my opinion this would increase usability and accessibility of Airflow and could empower the customer.
Additionally, it would make the development process of DAGs much easier as we would move from develop -> deploy -> test to develop -> test.
Evaluation
I expect this to be a rather large feature. We'd need to think about roles and how to configure those for editor access without OPA too. We need to be able to integrate with GitSync and implement access, provisioning and usage of PVCs to store DAGs written in the Airflow UI. Role based access may also apply to files stored in PVCs. We introduce at least another dependency we might need to maintain.
- Ngôn ngữ chính
- Rust
- Star
- 32
- Fork
- 6
- Merge trung bình
- 21 giờ 38 phút
- Pull request đã merge (30 ngày)
- 13
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/airflow-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
stackabletech/airflow-operator#855 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue type/feature-improvement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/airflow-operator#760 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 42/100
stackabletech/airflow-operator#697 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
stackabletech/airflow-operator#638 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type/feature-new
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
stackabletech/airflow-operator#592 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của stackabletech/airflow-operator
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
dani-garcia/vaultwarden#7801 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
boxlite-ai/boxlite#1814 ·
Maintainer thường phản hồi trong vòng 1 ngày