ValueError: Default process group has not been initialized in maisi diffusion train
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 35/100
- Issue 類型
- 缺陷
- 描述清晰度
- 需要釐清
- 活躍度
- 停滯
- 技術堆疊
- jupyter-notebook, python, pytorch
研究方向
從 scripts/diff_model_train.py 第 355 行開始，該行呼叫了 dist.get_world_size()，並檢查訓練程序如何從 notebook 中以及透過 torchrun 啟動。使用所示設定重現 Cell 19，並追蹤 process-group 設定；當 Maisi diffusion 訓練執行能夠在不再出現所回報的初始化錯誤的情況下繼續進行時，即表示完成。
由索引模型根據 Issue 內容生成。
描述
Executing Cell 19--------------------------------------
INFO:notebook:Training the model...
INFO:training:Using cuda:0 of 1
INFO:training:[config] ckpt_folder -> ./temp_work_dir/./models.
INFO:training:[config] data_root -> ./temp_work_dir/./embeddings.
INFO:training:[config] data_list -> ./temp_work_dir/sim_datalist.json.
INFO:training:[config] lr -> 0.0001.
INFO:training:[config] num_epochs -> 2.
INFO:training:[config] num_train_timesteps -> 1000.
INFO:training:num_files_train: 2
Traceback (most recent call last):
File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main
return _run_code(code, main_globals, None,
File "/usr/lib/python3.10/runpy.py", line 86, in _run_code
exec(code, run_globals)
File "/opt/toolkit/tutorials/monai/generation/maisi/scripts/diff_model_train.py", line 434, in <module>
diff_model_train(args.env_config, args.model_config, args.model_def)
File "/opt/toolkit/tutorials/monai/generation/maisi/scripts/diff_model_train.py", line 355, in diff_model_train
data=train_files, shuffle=True, num_partitions=dist.get_world_size(), even_divisible=True
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/distributed_c10d.py", line 2002, in get_world_size
return _get_group_size(group)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/distributed_c10d.py", line 987, in _get_group_size
default_pg = _get_default_group()
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/distributed_c10d.py", line 1151, in _get_default_group
raise ValueError(
ValueError: Default process group has not been initialized, please make sure to call init_process_group.
E0930 01:33:38.255000 140127265727104 torch/distributed/elastic/multiprocessing/api.py:863] failed (exitcode: 1) local_rank: 0 (pid: 383) of binary: /usr/bin/python
Traceback (most recent call last):
File "/usr/local/bin/torchrun", line 33, in <module>
sys.exit(load_entry_point('torch==2.5.0a0+872d972e41.nv24.8.1', 'console_scripts', 'torchrun')())
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/elastic/multiprocessing/errors/__init__.py", line 355, in wrapper
return f(*args, **kwargs)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/run.py", line 919, in main
run(args)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/run.py", line 910, in run
elastic_launch(
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/launcher/api.py", line 138, in __call__
return launch_agent(self._config, self._entrypoint, list(args))
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/launcher/api.py", line 269, in launch_agent
raise ChildFailedError(
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
============================================================
scripts.diff_model_train FAILED
------------------------------------------------------------
Failures:
<NO_OTHER_FAILURES>
------------------------------------------------------------
Root Cause (first observed failure):
[0]:
time : 2024-09-30_01:33:38
host : ipp2-0112.ipp2u1.colossus.nvidia.com
rank : 0 (local_rank: 0)
exitcode : 1 (pid: 383)
error_file: <N/A>
traceback : To enable traceback see: https://pytorch.org/docs/stable/elastic/errors.html
============================================================
- 主要語言
- Jupyter Notebook
- 星號
- 2.6k
- 分支
- 807
- 平均合併
- 2 天 14 小時
- 30 天內合併 PR
- 4
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
Project-MONAI/tutorials 的其他 Issue
-
難度 1/5 1-3 小時 新手友好度 76/100
Project-MONAI/tutorials#2069 ·
-
難度 1/5 1 小時以內 新手友好度 85/100
Project-MONAI/tutorials#1704 ·
-
難度 4/5 3-5 天 新手友好度 45/100
Project-MONAI/tutorials#2080 ·
-
Rehost CONSep可能已有人在做 @vikashg 於 20 天前認領。 未關閉
Project-MONAI/tutorials#2079 · 1 則留言 · 已指派 2 人 ·
-
難度 4/5 3-5 天 新手友好度 62/100
Project-MONAI/tutorials#2071 ·
查看 Project-MONAI/tutorials 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 62/100
維護者通常 1 天內回覆
-
Reusing KeyValue Sources config maps later buckets to the first bucket's subjects可能已有人在做 @zhechen-cs 於 1 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 74/100
維護者通常 1 天內回覆
-
area:cli bug severity:low triage:needs-info
難度 2/5 1-3 小時 新手友好度 72/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 76/100
eclipse-zenoh/zenoh#2842 · 2 則留言 ·
維護者通常 1 天內回覆
-
[High] Updates pagination silently truncates at 500 items, causing wakes past the cap to be acked as already handled.可能已有人在做 @Uuriko 於 1 天前認領。 未關閉bug
難度 2/5 1-3 小時 新手友好度 72/100
Uuriko/project-room#2871 ·
維護者通常 1 天內回覆