执行这个命令会删除 jumpstartmodels 与sagemakerendpointregistrations (如果存在),但是如果存在sagemaker相关的资源这些资源不会被删除。这将会导致后续重建jumpstartmodels是还是关联到了老的sagemaker资源
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- aws, kubernetes, python
- 领域
- cloud, devops, infrastructure
调研方向
使用 kubectl delete jumpstartmodels mistral-jump -n default 重现该问题,并检查 JumpStartModel 和 SageMakerEndpointRegistrations 资源是否被删除。跟踪 operator 的 finalizer 处理和清理流程,重点关注 Kubernetes API 冲突、重试和恢复。完成标准是删除资源时也能可靠地删除其关联的 SageMaker 资源。
由索引模型根据 Issue 内容生成。
描述
kubectl delete jumpstartmodels mistral-jumpstart -n default
执行这个命令会删除 jumpstartmodels 与sagemakerendpointregistrations (如果存在),但是如果存在sagemaker相关的资源这些资源不会被删除。这将会导致后续重建jumpstartmodels是还是关联到了老的sagemaker资源
主要原因:
-
Kubernetes etcd 存储层面的并发冲突
• 多个控制器(可能包括 kubectl delete 和 operator finalizer)同时尝试修改资源
• ResourceVersion 不匹配导致乐观锁失败 -
HyperPod Inference Operator 的 Bug
• Operator 在处理 finalizer 时没有正确处理并发场景
• 删除逻辑中存在竞争条件 -
Finalizer 清理顺序问题
• 两个 finalizer 可能存在依赖关系
• 清理顺序不当导致状态不一致
为什么 SageMaker 资源没有被删除:
• Operator 崩溃:在删除过程中遇到 Kubernetes API 错误后,Operator 停止了后续的清理工作
• 事务不完整:删除操作不是原子性的,部分完成后失败
• 错误恢复机制缺失:Operator 没有重试或错误恢复机制
这是一个典型的 Kubernetes Operator 并发控制问题,导致资源清理不完整,留下了孤立的 SageMaker 资源。
- 主要语言
- Python
- 星标
- 41
- 派生
- 95
- 平均合并
- 18 小时 29 分钟
- 30 天内合并 PR
- 5
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
aws/sagemaker-hyperpod-cli 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 62/100
aws/sagemaker-hyperpod-cli#348 ·
-
难度 1/5 1 小时以内 新手友好度 68/100
aws/sagemaker-hyperpod-cli#314 ·
-
难度 4/5 3-5 天 新手友好度 52/100
aws/sagemaker-hyperpod-cli#431 ·
-
难度 3/5 1-2 天 新手友好度 55/100
aws/sagemaker-hyperpod-cli#384 ·
-
难度 3/5 1-2 天 新手友好度 45/100
aws/sagemaker-hyperpod-cli#353 ·
查看 aws/sagemaker-hyperpod-cli 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 72/100
huggingface/sentence-transformers#4186 ·
维护者通常 5 天内回复
-
documentation good first issue
难度 2/5 半天 新手友好度 72/100
sujithputta02/Esapay#13 ·
-
bot-triaged module: correctness (silent) module: mps module: NaNs and Infs triage review
难度 2/5 半天 新手友好度 62/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
SCIInstitute/SCIRun#2842 ·
维护者通常 3 天内回复