Add driver information to the application status
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- kubernetes, rust
调研方向
首先跟踪 SparkApplication 状态的定义和更新方式，然后检查如何识别 Kubernetes driver Pod。查看链接的 Airflow 文档页面，并确定需要记录 executor 和 Spark pod 日志持久化的哪些行为。完成标准是状态公开 driver 引用，并且文档反映受支持的日志行为。
由索引模型根据 Issue 内容生成。
描述
Description
Tools (most notably Airflow) that manage the lifecycle of SparkApplications need to be able to monitor the logs of the application driver.
Currently there is no reference to the driver Pod from the application, which makes the task from above more cumbersome than it should be.
The operator should include such a reference in the SparkApplication status, to enable tools like Airflow's Kubernetes sensor to work out of the box.
Investigate if it's possible to persist logs from k8s executors and spark pods and update the the documentation page accordingly.
- 主要语言
- Rust
- 星标
- 73
- 派生
- 5
- 平均合并
- 9 小时 55 分钟
- 30 天内合并 PR
- 16
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
stackabletech/spark-k8s-operator 的其他 Issue
-
type/bug
难度 2/5 1-3 小时 新手友好度 68/100
stackabletech/spark-k8s-operator#775 ·
维护者通常 1 天内回复
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints file可能已有人在做 @Maleware 于 10 天前认领。 未关闭type/bug
stackabletech/spark-k8s-operator#786 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Application driver Pod is not terminated when Spark is OOMKilled可能已有人在做 @razvan 于 21 天前认领。 未关闭type/bug
stackabletech/spark-k8s-operator#780 · 已指派 1 人 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 55/100
stackabletech/spark-k8s-operator#774 · 1 条评论 ·
维护者通常 1 天内回复
-
type/bug
难度 4/5 3-5 天 新手友好度 45/100
stackabletech/spark-k8s-operator#770 ·
维护者通常 1 天内回复
查看 stackabletech/spark-k8s-operator 的全部 Issue
相似的 Issue
-
bug needs triage P3
难度 2/5 1-3 小时 新手友好度 76/100
pbakaus/impeccable#1143 ·
维护者通常 1 天内回复
-
Bundled uv is never updated and trusts the compromised eMudhra certificates可能已有人在做 @FabienDanieau 今天认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 76/100
-
难度 2/5 1-3 小时 新手友好度 66/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 66/100
维护者通常 1 天内回复