Better handle failed processing jobs when terminated by cluster
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
没有指定文件、测试或入口点。首先跟踪重新处理作业如何接收状态更新，以及集群终止是如何表示的；当一个已知作业的集群作业在没有状态更新的情况下消失时，该已知作业被标记为失败，而不是继续处于旋转状态，即表示完成。
由索引模型根据 Issue 内容生成。
描述
Raised by Mark; this collection has a permanent spinning cog: https://ispyb.diamond.ac.uk/dc/visit/mx37593-40/id/18159036
This corresponds to a reprocessing run that combined several datasets:
The log file shows it terminating in the middle of integration (I assume due to OOM errors):
...
oooooooooooooooooooooooooooooooooo.ooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
"o" => good "%" => ok "!" => bad rmsd
"O" => overloaded "#" => many bad "." => weak
"@" => abandoned
Mosaic spread: 0.413 < 0.413 < 0.413
-------------------- Spotfinding SWEEP2 --------------------
67030 spots found on 3600 images (max 1798 / bin)
***
******
********* ****
************* *********
* ******************* *** ************* ***
** ***************************** ******************** ****
************************************************************
************************************************************
************************************************************
************************************************************
1 image 3600
------------------- Autoindexing SWEEP2 --------------------
All possible indexing solutions:
aP 40.40 57.05 77.35 102.77 94.67 100.11
Indexing solution:
aP 40.40 57.05 77.35 102.77 94.67 100.11
-------------------- Integrating SWEEP2 --------------------
possibly we need to have a service that occasionally checks the cluster status for known reprocessing jobs, and marks it as failed if the cluster job has gone away but no status update written?
- 主要语言
- Python
- 星标
- 2
- 派生
- 3
- 平均合并
- 1 天 14 小时
- 30 天内合并 PR
- 5
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
DiamondLightSource/python-dlstbx 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 65/100
-
难度 4/5 3-5 天 新手友好度 52/100
-
难度 4/5 3-5 天 新手友好度 35/100
DiamondLightSource/python-dlstbx#322 · 1 条评论 ·
-
难度 4/5 3-5 天 新手友好度 42/100
-
难度 4/5 3-5 天 新手友好度 42/100
DiamondLightSource/python-dlstbx#255 · 4 条评论 ·
查看 DiamondLightSource/python-dlstbx 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 75/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 2 天内回复
-
Status: Triage Type: Bug
难度 2/5 1-3 小时 新手友好度 86/100
-
Objects.List treats versions=false (and similar flags) as true可能已有人在做 @andaaron 今天认领。 未关闭priority: p2 type: bug
难度 2/5 1-3 小时 新手友好度 78/100
googleapis/storage-testbench#829 ·
维护者通常 2 天内回复
-
[Bug]: memory provider treats 1:1 DMs as shared surfaces, so DM turns never receive reviewed records未关闭
难度 2/5 1-3 小时 新手友好度 79/100
rlaope/oh-my-hermes#2088 ·
维护者通常 1 天内回复