Implement some form of deletion policy for Spark applications
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- kubernetes, rust, spark
- Lĩnh vực
- data-engineering, infrastructure
Hướng nghiên cứu
Không có tệp, bài kiểm thử hoặc điểm vào nào được nêu tên. Hãy bắt đầu bằng việc xác định vòng đời của SparkApplication và các tài nguyên được tạo bởi spark-submit, bao gồm driver Pod; xác định hành vi của deletion-policy và xác minh rằng các thành phần phụ thuộc cũ được xử lý đối với Never, Always và AlwaysOnSuccess.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Description
SparkApplications own all resources created by spark-submit, including the driver Pod. Since applications are created by the user, the dependents remain present in the cluster long after the application is finished.
To clean up these (stale) resources, we propose implementing some form of deletion policy for the SparkApplication it's self. Possible policies could be:
NeverAlwaysAlwaysOnSuccess
- Ngôn ngữ chính
- Rust
- Star
- 73
- Fork
- 5
- Merge trung bình
- 7 giờ 3 phút
- Pull request đã merge (30 ngày)
- 10
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/spark-k8s-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
stackabletech/spark-k8s-operator#775 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints fileCó thể đã có người làm @Maleware đã nhận 7 ngày trước. Đang mởtype/bug
stackabletech/spark-k8s-operator#786 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Application driver Pod is not terminated when Spark is OOMKilledCó thể đã có người làm @razvan đã nhận 17 ngày trước. Đang mởtype/bug
stackabletech/spark-k8s-operator#780 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100
stackabletech/spark-k8s-operator#774 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type/bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/spark-k8s-operator#770 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của stackabletech/spark-k8s-operator
Issue tương tự
-
`[daemons]` fails to resolve standalone file tasks by their display name (`runs unknown task`)Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
ci: SHA pin 3rd party actionsĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 64/100
Maintainer thường phản hồi trong vòng 3 ngày
-
[BUG] Filename sequence expansion (`+`) panics on numeric values exceeding `i32::MAX`Có thể đã có người làm @muntasir-396 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
CCExtractor/ccextractor#2402 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Nushell launcher failure.Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100