Is current megablocks compatible with distributed optimizer in Megatron-LM?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
Línea de trabajo
Comienza con las líneas 352-356 de megatron/arguments.py en el fork enlazado y compara después esa validación con NVIDIA Megatron-LM pull request #288. Rastrea cómo interactúa el paralelismo de expertos con el optimizador distribuido y documenta si la aserción es necesaria, idealmente con una incompatibilidad reproducida o una confirmación de compatibilidad.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi there, thanks for the amazing work! I found expert parallel is not compatible with the distributed optimizer in the fork version of Megatron-LM here:
But there's no such validation in the open PR to Megatron-LM: https://github.com/NVIDIA/Megatron-LM/pull/288
Does that mean the assertion is redundant and the current version of megablocks is compatible with the distributed optimizer under expert parallelism?
Thanks very much.
- Lenguaje dominante
- Python
- Estrellas
- 1.6k
- Forks
- 227
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Issues similares
-
binding:python bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
The Browser tab fails with a Wayland error when Open Terminal runs from a Wayland desktop sessionAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
open-webui/open-terminal#210 ·
-
triage/confirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
agentscope-ai/agentscope#3807 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
NousResearch/hermes-agent#150542 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
triton-inference-server/server#9069 ·
Los mantenedores suelen responder en 1 día