Implement integration with hdfs
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- kubernetes, rust, spark
- Lĩnh vực
- data-engineering, devops
Hướng nghiên cứu
Bắt đầu bằng cách xác định CRD của ứng dụng Spark và cấu hình image của job. Theo dõi cách các dependency của job được tải lên và cách các image của executor được build, sau đó xác định nơi đặt thiết lập namenode có điều kiện. Được xem là hoàn tất khi CRD có thể cấu hình một namenode và các JAR HDFS cần thiết khả dụng cho mọi executor.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
As a user of the spark-k8s-operator I want to be able to upload job dependencies to a hdfs path
- include namenode in CRD, making this conditional
- include necessary jars in the job image, so that the are available for each executor
- Ngôn ngữ chính
- Rust
- Star
- 74
- Fork
- 5
- Merge trung bình
- 10 giờ 42 phút
- Pull request đã merge (30 ngày)
- 17
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/spark-k8s-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
stackabletech/spark-k8s-operator#775 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints fileCó thể đã có người làm @Maleware đã nhận 18 ngày trước. Đang mởtype/bug
stackabletech/spark-k8s-operator#786 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Application driver Pod is not terminated when Spark is OOMKilledCó thể làm lại được @razvan đã nhận 28 ngày trước và không có pull request nào đang mở. Đang mởtype/bug
stackabletech/spark-k8s-operator#780 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Allow defining a time to live for finished SparkApplication driver podsCó thể đã có người làm @sweb đã nhận 3 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100
stackabletech/spark-k8s-operator#774 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type/bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/spark-k8s-operator#770 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của stackabletech/spark-k8s-operator
Issue tương tự
-
bug priority: low ui
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
storytold/photocraft#10370 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area:doc bug in progress needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
bherbruck/solvecraft#9634 · 2 bình luận · 1 reaction ·
-
inflate: total_in uses plain += on c_ulong (32-bit on Windows), panics in debug for streams > 4 GiBĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
trifectatechfoundation/zlib-rs#570 · 1 bình luận ·
-
bug discord-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
LanternOps/breeze#10755 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
aranya-project/aranya#803 ·