A transient failure makes automatic reduction skip a run for good
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Read rules.py at TriggerLoop._requests, automatic-reduction.md under “The trigger loop,” and the linked requirements question in docs/requirements/data.md. Compare the failure cases and prior art in docs/developer/prior-art/; the issue leaves three design questions open. Done requires a decided approach for distinguishing or retrying failures and dataset readiness, with the related behavior and documentation specified.
索引モデルが issue の本文から書いたものです。
説明
The trigger loop counts any record under a rule's label as handled, including a failed one (TriggerLoop._requests in rules.py; automatic-reduction.md, "The trigger loop"). That avoids retrying a dataset that fails at every step. But failed covers three cases that a driver cannot tell apart, since a failed record holds only str(error):
- the workflow raised, or reported a failure;
- the framework could not run it: a dataset could not be read, or a write failed;
- the process died without a Python exception (out-of-memory kill, segfault), which the service must capture from the console and the batch system.
So a transient failure loses a run for good: a slow or missing /ess mount, or a dataset source that lists a run before its file is complete. Mantid's reflectometry autoprocessing hit exactly the second case in 2024 (mantidproject/mantid#36860); they fixed it by listing only runs already in the data cache, not by retrying.
Prior art, in docs/developer/prior-art/ (#67):
- AiiDA ends a process
Finishedwith a declared exit code,Excepted, orKilled; restart handlers key on exit codes. Transient transport failures are retried with backoff and then paused for a person, not failed. - Snakemake on Slurm takes
OUT_OF_MEMORY,TIMEOUT, andNODE_FAILfrom the batch system, not from the job. - Mantid never retries failed rows automatically; a user selects them and processes again.
Questions:
- Should a failed record say which kind of failure it was, so that an application can decide retries (relevant to #33, where rules move into applications)?
- Should the service retry framework failures, such as an unreadable dataset, before it fails a record (#27)?
- Should the dataset source promise to list a dataset only once its file is complete? This ties to the Open question in
docs/requirements/data.mdon how long after the file writer finishes the catalogue lists a run.
- 主要言語
- Python
- スター
- 0
- フォーク
- 1
- 平均マージ
- 9時間 23分
- マージ済み PR（30日）
- 65
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
scipp/essapps のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信
-
A number that is not finite is stored as None at a field that accepts None対応中かも @jeevanabhi-r が 5 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
scipp/essapps#140 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
Technique apps: the batch as the main page, and inspecting a value before a long reduction対応中かも @SimonHeybrock が今日担当しました。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
scipp/essapps#152 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
volcengine/OpenViking#7347 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
duolicious/duolicious#1943 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
fedora-infra/anitya#2166 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NVIDIA/auto-ontology#486 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 69/100
NVIDIA/SkillEvaluator#446 ·
メンテナーはふだん 2 日以内に返信