Multi-GPU interactive mode hangs during model initialization on some machines
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- distributed-systems, machine-learning
Direzione di ricerca
Start with generate.py and trace the interactive torchrun path through the dist.barrier() preceding WanModel.from_pretrained(). Compare logs and initialization behavior between the working and hanging machine setups, using the reported 4-rank command and NCCL settings. Done means identifying a reproducible cause and documenting or fixing the hang so model initialization completes.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Running Matrix-Game 3.0 interactive mode with torchrun on 4x A100 SXM 80GB.
Stock generate.py with --interactive works on some machines but silently hangs
during model initialization on others.
Setup:
- torch 2.10.0, FA2, CUDA 12.8, Python 3.12
- torchrun --nproc_per_node=4 with --ulysses_size 4, --use_int8, --t5_cpu
- Docker image based on nvidia/cuda:12.8.0-devel-ubuntu22.04
What happens:
- NCCL init succeeds on all ranks
- T5 encoder loads successfully on all ranks
- All 4 ranks log "Initializing Model (DiT)..."
- Then hangs forever: 0% CPU, 0% GPU VRAM (633MB CUDA context only)
- No error, no timeout, no crash
What we've tried:
- NCCL_P2P_DISABLE=1
- NCCL_DEBUG=INFO (init shows COMPLETE, no errors)
- device_id in init_process_group()
- 2 GPUs instead of 4
- Different volume sizes (75GB, 200GB)
Key observation:
- Works on some RunPod machines (e.g. vqnzttsdu44t, c250s631h6rc)
- Hangs on others (e.g. cmg18urp1kg5, hleuzkw9vyyn)
- Same Docker image, same code, same config
The hang appears to be inside WanModel.from_pretrained() or the
dist.barrier() that precedes it. Has anyone else seen this?
- Lingua principale
- Python
- Stelle
- 2.4k
- Fork
- 257
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di SkyworkAI/Matrix-Game
-
Replace deprecated v2.ToTensor() in Matrix-Game-2/inference.py with v2.ToImage() + v2.ToDtype(scale=True)Forse già presa @xyf5432 l’ha presa 51 giorni fa. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
SkyworkAI/Matrix-Game#82 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
SkyworkAI/Matrix-Game#80 ·
-
run logic error when finishForse già presa @Arison591 l’ha presa 89 giorni fa. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
SkyworkAI/Matrix-Game#77 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 76/100
SkyworkAI/Matrix-Game#86 ·
-
Third person supportAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
SkyworkAI/Matrix-Game#76 · 1 commento ·
Tutte le issue di SkyworkAI/Matrix-Game
Issue simili
-
[Bug]: LangGraph Store sync put bypasses namespace validationForse già presa @ktz03 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
volcengine/OpenViking#6050 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: Streamed /v1/chat/completions sends unredacted agent error text (keys) in the final chunkForse già presa @rodricksz4h5 l’ha presa oggi. Apertaarea/streaming comp/gateway P2 type/security
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-agent#138245 ·
I maintainer di solito rispondono entro 1 giorno
-
[oblt-aw][autodoc] Update user onboarding guide for mandatory trigger CODEOWNERS stepForse già presa @github-actions l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno
-
correction metadata
Difficoltà 2/5 Meno di un'ora Idoneità per principianti 68/100
acl-org/acl-anthology#10378 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
cloudtrail_multi_region_enabled_logging_management_events fails when the advanced event selector has a custom nameForse già presa @12YYCCYY16 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
prowler-cloud/prowler#13033 ·
I maintainer di solito rispondono entro 1 giorno