pods get oom-killed when multiple heavy spark applications start at the same time

未关闭

#666 创建于 2025年12月10日 2 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 3/5
预计耗时: 1-2 天
新手友好度: 38/100

Issue 类型: 缺陷
描述清晰度: 基本清楚
活跃度: 停滞
技术栈: kubernetes, rust, spark
领域: infrastructure

调研方向

从基本配置中的 secret-operator DaemonSet 开始，在观察 secret-operator Pod 的同时提交一个包含 3,000 个 executor 的 Spark 应用程序，以重现该问题。验证 128 MB 内存限制是否会导致 OOM kills，然后确认所选的更高限制可在多个高负载应用程序并发运行期间防止它们发生。

由索引模型根据 Issue 内容生成。

描述

customer-request type/bug

Affected Stackable version

25.3.0

Current and expected behavior

when multiple spark applications get started at the same time, all of them having 300 executors, a lot of pvcs are submitted which need to be satisfied by the secret-operator. in basic configuration the secret operator container has 128mb of memory which seems to be not enough because in that case all the pods get oom-killed

Possible solution

Increase the memory limit of the secret-operator container from 128mb to 1gb

Additional context

@soenkeliebau like mentioned today, I'll try to get further details. I think this is reproducible by submitting a 3000 exec application and keeping an eye on the secret-operator ds

Environment

No response

Would you like to work on fixing this bug?

None

主要语言: Rust
星标: 13
派生: 8
平均合并: 1 天 8 小时
30 天内合并 PR: 10

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

stackabletech/secret-operator 的其他 Issue

autoTls: calculation for secure maximum certificate lifetimes so that all pods that are deployed trust every other deployed pod is too loose 未关闭

type/bug

难度 4/5 3-5 天新手友好度 45/100

stackabletech/secret-operator#754 · 2026年9月10日创建
autoTls: bound certificate lifetime by the CA that will actually sign it, not the configured caCertificateLifetime 未关闭

难度 3/5 1-2 天新手友好度 48/100

stackabletech/secret-operator#753 · 1 条评论 · 2026年9月9日创建
skip the PodListeners lookup when the served Pod is being deleted 未关闭

难度 3/5 1-2 天新手友好度 72/100

stackabletech/secret-operator#720 · 1 条评论 · 2026年7月8日创建
Allow certificates to contain subjects with allowed external names 未关闭

customer-request type/feature-improvement

stackabletech/secret-operator#630 · 7 条评论 · 已指派 1 人 · 2025年8月20日创建
Add missing Pod IPs to created certificates 未关闭

stackabletech/secret-operator#620 · 2 条评论 · 已指派 1 人 · 2025年7月17日创建

查看 stackabletech/secret-operator 的全部 Issue

相似的 Issue

in_memory_filesystem_shim test fails on Windows: in-memory keys are stored with / and looked up with \ 未关闭

难度 2/5 1-3 小时新手友好度 88/100

daisy/MathCAT#817 · 2026年9月24日创建
bug: read reopens with a zero-size range after the last byte 未关闭

bug core

难度 2/5 1-3 小时新手友好度 86/100

apache/opendal#8342 · 1 个 reaction · 2026年9月24日创建
JIT-compiled number -> Decimal conversion silently overflows instead of raising DECIMAL_OVERFLOW 未关闭

fuzz

难度 2/5 1-3 小时新手友好度 82/100

ClickHouse/ClickHouse#122114 · 2026年9月24日创建
Text under a transformed group is rendered with its transform applied twice 未关闭

难度 1/5 1 小时以内新手友好度 92/100

linebender/vello_svg#90 · 2026年9月24日创建
Self-host buzz-relay no longer pulling minio images 未关闭

难度 2/5 1-3 小时新手友好度 74/100

block/buzz#7880 · 2026年9月24日创建

更多 Rust Issue