radixark/miles

Reported Plausible Failure of Qwen3 235B

Aperta

#529 aperta il 29 gen 2026

Vedi su GitHub
 (4 commenti) (0 reazioni) (1 assegnatario)Python (244 fork)github user discovery
bughelp wanted

Metriche repository

Star
 (1513 stelle)
Metriche merge PR
 (Merge medio 9g 17h) (200 PR mergiate in 30 g)

Descrizione

A reported bug from the community that the latest Miles Docker can not run Qwen3 235B MoE models. I highly think this might be wrong, but the errors are:

 [36m(MegatronTrainRayActor pid=85329, ip=10.142.198.76) [rank51]:[E129 09:24:37.913960277 ProcessGroupNCCL.cpp:683] [Rank 51] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=25, OpType=ALLREDUCE, NumelIn=1, NumelOut=1, Timeout(ms)=600000) ran for 600055 milliseconds before timing out.

An all reduce timeout. I think it's a good start point for those feel interested in Large scale training to debug on.

Guida contributor

Direzione di ricerca
Ispeziona l'errore di timeout all reduce nel training distribuito. Controlla la configurazione NCCL, la connettività di rete e le impostazioni di parallelismo del modello.
Tech stack
pythonpytorchdocker
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GitPythonDocker
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55