Add additional Spark Properties via Configmap
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- kubernetes, rust, spark
调研方向
首先追踪 operator 如何构建 spark-submit 命令以及处理 SparkApplication 配置。添加一个基于 ConfigMap 的路径，用于共享 Spark properties，同时不与现有的 properties-file 参数或 /opt/spark/conf mount 发生冲突。当多个 SparkApplications 可以复用相同的 properties（包括 Kerberos 设置）时，即视为完成。
由索引模型根据 Issue 内容生成。
描述
As a user I want to be able to pass spark properties, which might be the same over multiple sparkApplications (e.g. kerberos settings), via a configmap to the spark-submit command. Using this, I save effort and complexity repeatedly defining the same spark properties over and over when writing sparkApplications.
I tried to do some hacks to mock this behavior with mounting a spark-defaults.conf (which won't work because the spark-driver already mounts on /opt/spark/conf and thus I can't mount it there because the location is not unique) or passing a --properties-file (which also does not work because a --properties-file is already passed inherently)
- 主要语言
- Rust
- 星标
- 74
- 派生
- 5
- 平均合并
- 10 小时 42 分钟
- 30 天内合并 PR
- 17
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
stackabletech/spark-k8s-operator 的其他 Issue
-
type/bug
难度 2/5 1-3 小时 新手友好度 68/100
stackabletech/spark-k8s-operator#775 ·
维护者通常 1 天内回复
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints file可能已有人在做 @Maleware 于 16 天前认领。 未关闭type/bug
stackabletech/spark-k8s-operator#786 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Application driver Pod is not terminated when Spark is OOMKilled可能已有人在做 @razvan 于 26 天前认领。 未关闭type/bug
stackabletech/spark-k8s-operator#780 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Allow defining a time to live for finished SparkApplication driver pods可能已有人在做 @sweb 于 1 天前认领。 未关闭
难度 4/5 3-5 天 新手友好度 55/100
stackabletech/spark-k8s-operator#774 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
type/bug
难度 4/5 3-5 天 新手友好度 45/100
stackabletech/spark-k8s-operator#770 ·
维护者通常 1 天内回复
查看 stackabletech/spark-k8s-operator 的全部 Issue
相似的 Issue
-
vorbis: Inverse coupling runs in wrong order可能已有人在做 @computerfan 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
-
area:kernel needs-triage
难度 2/5 1-3 小时 新手友好度 68/100
bherbruck/solvecraft#8454 · 1 个 reaction ·
-
难度 2/5 1-3 小时 新手友好度 66/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
audit(c2): assert [profile.release] parity across RUST_MANIFESTS in scripts/ci/check-workfl (C2-26)未关闭hygiene type:refactor
难度 2/5 1 小时以内 新手友好度 78/100
维护者通常 1 天内回复