radixark/miles

Reported Plausible Failure of Qwen3 235B

Aberta

#529 aberto em 29 de jan. de 2026

Ver no GitHub
 (4 comentários) (0 reação) (1 responsável)Python (244 forks)github user discovery
bughelp wanted

Métricas do repositório

Stars
 (1.513 estrelas)
Métricas de merge de PR
 (Mesclagem média 9d 17h) (200 fundiu PRs em 30d)

Description

A reported bug from the community that the latest Miles Docker can not run Qwen3 235B MoE models. I highly think this might be wrong, but the errors are:

 [36m(MegatronTrainRayActor pid=85329, ip=10.142.198.76) [rank51]:[E129 09:24:37.913960277 ProcessGroupNCCL.cpp:683] [Rank 51] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=25, OpType=ALLREDUCE, NumelIn=1, NumelOut=1, Timeout(ms)=600000) ran for 600055 milliseconds before timing out.

An all reduce timeout. I think it's a good start point for those feel interested in Large scale training to debug on.

Guia do colaborador

Direção de pesquisa
Inspecione o errore de timeout all reduce no treinamento distribuído. Verifique a configuração NCCL, a conectividade de rede e as configurações de paralelismo de modelo.
Pilha de tecnologia
pythonpytorchdocker
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
GitPythonDocker
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55