Application driver Pod is not terminated when Spark is OOMKilled
Maintainer thường phản hồi trong vòng 1 ngày
@razvan đang làm issue này rồi.
Từ ngày 2/10/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Affected Stackable version
all
Affected Apache Spark-on-Kubernetes version
No response
Current and expected behavior
When a Spark driver is OOMKilled, the Pod doesn't terminate.
The vector container keeps running even after the Spark process is gone because no Vector shutdown file is generated. This container then prevents the Pod from being terminated.
A shutdown file for vector cannot be generated in this case because SIGKILL cannot be trapped.
A workaround for this problem is to use a livenessProbe on the vector container that connects to the driver's communication port (7078 by default).
Possible solution
A more robust and elegant solution is to turn the vector container into a native sidecar container.
Then Vector would be terminated whenever the main container is terminated. To still give it time collect any remainnig log files, a preStop hook can be used instead of the existing STACKABLE_POST_HOOK.
This solution is a breaking change for anyone using podOverrides to change the vector container. This needs to be documented in the changelog and the release notes.
This change requires Kubernetes >1.33 (which SDP doesn't officially support anymore) but there might still be users running it.
Additional context
No response
Environment
No response
Would you like to work on fixing this bug?
yes
- Ngôn ngữ chính
- Rust
- Star
- 73
- Fork
- 5
- Merge trung bình
- 7 giờ 3 phút
- Pull request đã merge (30 ngày)
- 10
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/spark-k8s-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
stackabletech/spark-k8s-operator#775 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints fileCó thể đã có người làm @Maleware đã nhận 7 ngày trước. Đang mởtype/bug
stackabletech/spark-k8s-operator#786 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100
stackabletech/spark-k8s-operator#774 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type/bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/spark-k8s-operator#770 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type/bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
stackabletech/spark-k8s-operator#762 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của stackabletech/spark-k8s-operator
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue gpu serve
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
biomejs/biome#12475 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation E-easy good first issue help wanted
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 91/100
Maintainer thường phản hồi trong vòng 1 ngày