Add driver information to the application status
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- kubernetes, rust
- Lĩnh vực
- distributed-systems, documentation, infrastructure
Hướng nghiên cứu
Bắt đầu bằng cách theo dõi cách trạng thái của SparkApplication được định nghĩa và cập nhật, sau đó kiểm tra cách Kubernetes driver Pod được xác định. Xem lại trang tài liệu Airflow được liên kết và xác định hành vi lưu trữ log của executor và Spark pod nào cần được ghi lại. Hoàn tất khi trạng thái cung cấp tham chiếu đến driver và tài liệu phản ánh hành vi log được hỗ trợ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Description
Tools (most notably Airflow) that manage the lifecycle of SparkApplications need to be able to monitor the logs of the application driver.
Currently there is no reference to the driver Pod from the application, which makes the task from above more cumbersome than it should be.
The operator should include such a reference in the SparkApplication status, to enable tools like Airflow's Kubernetes sensor to work out of the box.
Investigate if it's possible to persist logs from k8s executors and spark pods and update the the documentation page accordingly.
- Ngôn ngữ chính
- Rust
- Star
- 73
- Fork
- 5
- Merge trung bình
- 9 giờ 55 phút
- Pull request đã merge (30 ngày)
- 16
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/spark-k8s-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
stackabletech/spark-k8s-operator#775 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints fileCó thể đã có người làm @Maleware đã nhận 9 ngày trước. Đang mởtype/bug
stackabletech/spark-k8s-operator#786 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Application driver Pod is not terminated when Spark is OOMKilledCó thể đã có người làm @razvan đã nhận 19 ngày trước. Đang mởtype/bug
stackabletech/spark-k8s-operator#780 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100
stackabletech/spark-k8s-operator#774 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type/bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/spark-k8s-operator#770 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của stackabletech/spark-k8s-operator
Issue tương tự
-
documentation priority:p2 type:chore
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
facebookincubator/scrut#60 ·
-
dispatch:sol-high documentation
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 85/100
carrick-sh/carrick#768 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
correctness postgres tursopg
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
tursodatabase/turso#10442 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Incorrect "Share Decks" linkĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
ankitects/anki#5864 · 1 reaction ·
Maintainer thường phản hồi trong vòng 2 ngày