More user-friendly errors and automatic restarts in case of engines crashing due to OOM

未關閉

#695 建立於 2022年4月19日 5 則留言 0 個 reaction 已指派 0 人在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度: 5/5
預估耗時: 一週以上
新手友好度: 25/100

Issue 類型: 功能
描述清晰度: 需要釐清
活躍度: 停滯
技術堆疊: jupyter, python
領域: distributed-systems, observability

研究方向

該 issue 沒有指定任何檔案、測試或進入點。首先追蹤 MPI 引擎輸出以及 OOM 或 segmentation-fault 失敗目前是如何呈現的，然後確定實作更清楚的錯誤、程序清理和可選引擎重新啟動所需的範圍；完成標準是確定設計並完成相應的驗證。

由索引模型根據 Issue 內容生成。

描述

The errors we report in case of OOM and Segmentation-Fault are now much better, but I was wondering is there a way to make them more "user-friendly"?

Currently, at least for the MPI case, we report the mpiexec output, which is great, but could there be a way to report a cleaner error in addition to this, that could clearly identify this as a OOM error (or a seg-fault if possible)?
Is there something that packages (like Bodo) could do to make this experience better/easier?
What's the best way to automate restart of engines in this case? Ideally, if enabled, in cases where the engines crash, if we could clean up the processes, display a message (e.g. "engines crashed due to OOM, restarting engines..."), and then restart the engines, that would be useful.

主要語言: Jupyter Notebook
星號: 2.6k
分支: 1k
PR 合併指標: 30 天內沒有已合併 PR

貢獻指南

開啟貢獻指南

從這裡開始

先讀完整個 Issue，再讀專案的貢獻指南。
在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
Fork 儲存庫，在一個分支上完成修改。
送出 Pull Request，並在描述裡引用這個 Issue 編號。

ipython/ipyparallel 的其他 Issue

Option of defining an environment script for starting engines (with SSHEngineSetLauncher) 未關閉

難度 4/5 3-5 天新手友好度 48/100

ipython/ipyparallel#1029 · 9 則留言 · 2026年6月25日建立
pidigits example website is gone 未關閉

難度 2/5 1-3 小時新手友好度 35/100

ipython/ipyparallel#984 · 2026年2月12日建立
Client.result_status(..., status_only=False) fails in _extract_metadata with TypeError: 'NoneType' object is not subscriptable 未關閉

難度 4/5 3-5 天新手友好度 35/100

ipython/ipyparallel#937 · 4 則留言 · 2025年4月6日建立
Packages and definitions loaded in the regular kernel are not known by engines and vice versa 未關閉

question

難度 5/5 一週以上新手友好度 25/100

ipython/ipyparallel#897 · 12 則留言 · 2024年10月22日建立
Outstanding task on client but hub says completed when using broadcast view 未關閉

bug

難度 4/5 3-5 天新手友好度 35/100

ipython/ipyparallel#882 · 2024年5月22日建立

查看 ipython/ipyparallel 的全部 Issue

相似的 Issue

[Bug]: 09_gemm_one_shot_all_reduce aborts on power-of-two CU counts (gemm_sms auto-detect equals total_sms) 未關閉

bug examples invalid iris

難度 2/5 1-3 小時新手友好度 70/100

ROCm/iris#557 · 2026年9月23日建立
Mute ydb/core/kqp/ut/federated_query/datastreams 5 tests in main 未關閉

ai_reviewed

難度 2/5 1-3 小時新手友好度 68/100

ydb-platform/ydb#53838 · 3 則留言 · 2026年9月22日建立
pad_training_input_batch pads TensorList fields with tensor[0].clone() — loss-masked pad rows carry a real row's payload (ragged-consumer crash; wrong pixel_values/image_grid_thw on pad rows) 未關閉

難度 2/5 1-3 小時新手友好度 82/100

NovaSky-AI/SkyRL#2263 · 2026年9月22日建立
A RabbitMQ bridge can keep a stale consumer tag and never consume again 未關閉

難度 2/5 1-3 小時新手友好度 75/100

johanhaleby/occurrent#1106 · 2026年9月22日建立
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses 未關閉

難度 2/5 1-3 小時新手友好度 78/100

apache/gluten#13099 · 2026年9月22日建立

更多 Distributed Systems Issue

精選適合新手參與的 GitHub issue 摘要。