Multi-GPU interactive mode hangs during model initialization on some machines
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 静か
- 技術スタック
- python
調査の方向性
Start with generate.py and trace the interactive torchrun path through the dist.barrier() preceding WanModel.from_pretrained(). Compare logs and initialization behavior between the working and hanging machine setups, using the reported 4-rank command and NCCL settings. Done means identifying a reproducible cause and documenting or fixing the hang so model initialization completes.
索引モデルが issue の本文から書いたものです。
説明
Running Matrix-Game 3.0 interactive mode with torchrun on 4x A100 SXM 80GB.
Stock generate.py with --interactive works on some machines but silently hangs
during model initialization on others.
Setup:
- torch 2.10.0, FA2, CUDA 12.8, Python 3.12
- torchrun --nproc_per_node=4 with --ulysses_size 4, --use_int8, --t5_cpu
- Docker image based on nvidia/cuda:12.8.0-devel-ubuntu22.04
What happens:
- NCCL init succeeds on all ranks
- T5 encoder loads successfully on all ranks
- All 4 ranks log "Initializing Model (DiT)..."
- Then hangs forever: 0% CPU, 0% GPU VRAM (633MB CUDA context only)
- No error, no timeout, no crash
What we've tried:
- NCCL_P2P_DISABLE=1
- NCCL_DEBUG=INFO (init shows COMPLETE, no errors)
- device_id in init_process_group()
- 2 GPUs instead of 4
- Different volume sizes (75GB, 200GB)
Key observation:
- Works on some RunPod machines (e.g. vqnzttsdu44t, c250s631h6rc)
- Hangs on others (e.g. cmg18urp1kg5, hleuzkw9vyyn)
- Same Docker image, same code, same config
The hang appears to be inside WanModel.from_pretrained() or the
dist.barrier() that precedes it. Has anyone else seen this?
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 257
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
SkyworkAI/Matrix-Game のほかの issue
-
Replace deprecated v2.ToTensor() in Matrix-Game-2/inference.py with v2.ToImage() + v2.ToDtype(scale=True)対応中かも @xyf5432 が 51 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
SkyworkAI/Matrix-Game#82 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
SkyworkAI/Matrix-Game#80 ·
-
run logic error when finish対応中かも @Arison591 が 88 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
SkyworkAI/Matrix-Game#77 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 76/100
SkyworkAI/Matrix-Game#86 ·
-
Third person supportオープン
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
SkyworkAI/Matrix-Game#76 · コメント 1 件 ·
SkyworkAI/Matrix-Game の issue をすべて見る
似ている issue
-
area: agents area: docs good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
openapi/gknowledge#23 ·
-
get() for StrEnum対応中かも @FeJo5952 が今日担当しました。 オープンgood first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
collective/icalendar#1921 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Improvement Python Spans
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
getsentry/sentry-python#7994 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
alphagov/notifications-api#5004 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
equinor/radix-flux#3922 ·
メンテナーはふだん 1 日以内に返信