More user-friendly errors and automatic restarts in case of engines crashing due to OOM

オープン

#695 2022年4月19日に作成コメント 5 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: jupyter, python
領域: distributed-systems, observability

調査の方向性

この issue では、ファイル、テスト、エントリーポイントが指定されていません。まず、MPI エンジンの出力と OOM または segmentation-fault の失敗が現在どのように表面化されているかを追跡し、その後、より明確なエラー、プロセスのクリーンアップ、オプションのエンジン再起動に必要な範囲を判断してください。完了条件は、設計が決定され、それに対応する検証が行われていることです。

索引モデルが issue の本文から書いたものです。

説明

The errors we report in case of OOM and Segmentation-Fault are now much better, but I was wondering is there a way to make them more "user-friendly"?

Currently, at least for the MPI case, we report the mpiexec output, which is great, but could there be a way to report a cleaner error in addition to this, that could clearly identify this as a OOM error (or a seg-fault if possible)?
Is there something that packages (like Bodo) could do to make this experience better/easier?
What's the best way to automate restart of engines in this case? Ideally, if enabled, in cases where the engines crash, if we could clean up the processes, display a message (e.g. "engines crashed due to OOM, restarting engines..."), and then restart the engines, that would be useful.

主要言語: Jupyter Notebook
スター: 2.6k
フォーク: 1k
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

ipython/ipyparallel のほかの issue

Option of defining an environment script for starting engines (with SSHEngineSetLauncher) オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

ipython/ipyparallel#1029 · コメント 9 件 · 2026年6月25日に作成
pidigits example website is gone オープン

難易度 2/5 1〜3時間初心者へのやさしさ 35/100

ipython/ipyparallel#984 · 2026年2月12日に作成
Client.result_status(..., status_only=False) fails in _extract_metadata with TypeError: 'NoneType' object is not subscriptable オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

ipython/ipyparallel#937 · コメント 4 件 · 2025年4月6日に作成
Packages and definitions loaded in the regular kernel are not known by engines and vice versa オープン

question

難易度 5/5 1週間以上初心者へのやさしさ 25/100

ipython/ipyparallel#897 · コメント 12 件 · 2024年10月22日に作成
Outstanding task on client but hub says completed when using broadcast view オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 35/100

ipython/ipyparallel#882 · 2024年5月22日に作成

ipython/ipyparallel の issue をすべて見る

似ている issue

[Bug]: 09_gemm_one_shot_all_reduce aborts on power-of-two CU counts (gemm_sms auto-detect equals total_sms) オープン

bug examples invalid iris

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

ROCm/iris#557 · 2026年9月23日に作成
Mute ydb/core/kqp/ut/federated_query/datastreams 5 tests in main オープン

ai_reviewed

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

ydb-platform/ydb#53838 · コメント 3 件 · 2026年9月22日に作成
pad_training_input_batch pads TensorList fields with tensor[0].clone() — loss-masked pad rows carry a real row's payload (ragged-consumer crash; wrong pixel_values/image_grid_thw on pad rows) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

NovaSky-AI/SkyRL#2263 · 2026年9月22日に作成
A RabbitMQ bridge can keep a stale consumer tag and never consume again オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

johanhaleby/occurrent#1106 · 2026年9月22日に作成
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/gluten#13099 · 2026年9月22日に作成

Distributed Systems の issue をもっと見る