Better handle failed processing jobs when terminated by cluster
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
ファイル、テスト、エントリポイントは指定されていません。まず、再処理ジョブがステータス更新をどのように受け取り、クラスターの終了がどのように表現されるかを追跡します。既知のジョブのクラスタージョブがステータス更新なしに消えたとき、そのジョブがスピナー状態のままではなく失敗としてマークされれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Raised by Mark; this collection has a permanent spinning cog: https://ispyb.diamond.ac.uk/dc/visit/mx37593-40/id/18159036
This corresponds to a reprocessing run that combined several datasets:
The log file shows it terminating in the middle of integration (I assume due to OOM errors):
...
oooooooooooooooooooooooooooooooooo.ooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
"o" => good "%" => ok "!" => bad rmsd
"O" => overloaded "#" => many bad "." => weak
"@" => abandoned
Mosaic spread: 0.413 < 0.413 < 0.413
-------------------- Spotfinding SWEEP2 --------------------
67030 spots found on 3600 images (max 1798 / bin)
***
******
********* ****
************* *********
* ******************* *** ************* ***
** ***************************** ******************** ****
************************************************************
************************************************************
************************************************************
************************************************************
1 image 3600
------------------- Autoindexing SWEEP2 --------------------
All possible indexing solutions:
aP 40.40 57.05 77.35 102.77 94.67 100.11
Indexing solution:
aP 40.40 57.05 77.35 102.77 94.67 100.11
-------------------- Integrating SWEEP2 --------------------
possibly we need to have a service that occasionally checks the cluster status for known reprocessing jobs, and marks it as failed if the cluster job has gone away but no status update written?
- 主要言語
- Python
- スター
- 2
- フォーク
- 3
- 平均マージ
- 1日 14時間
- マージ済み PR（30日）
- 5
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
DiamondLightSource/python-dlstbx のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
DiamondLightSource/python-dlstbx#322 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
DiamondLightSource/python-dlstbx#255 · コメント 4 件 ·
DiamondLightSource/python-dlstbx の issue をすべて見る
似ている issue
-
SSM GetParameter throttling during concurrent workflow launches対応中かも @alexiswl が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
-
[Bug] Dev image build fails: `npm install` in the root Dockerfile runs out of memory (exit 134)対応中かも @andest01 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
Rename FunctionalRole BOT_DEV to DEV_STAFF対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープンenhancement good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
pesu-dev/discord_bot#97 ·
-
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
gradio-app/gradio#13964 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 93/100
BSData/horus-heresy-3rd-edition#3232 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信