different load_balancing_loss with different pipeline_parallel_size
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
Línea de trabajo
Reproduce la configuración GPT de 500M reportada con 64 expertos, variando pipeline_parallel_size entre 1, 2 y 4, y luego compara load_balancing_loss con los valores reportados. Investiga si la diferencia se debe a la precisión numérica o a un problema de agregación del paralelismo de pipeline; se considera terminado cuando se expliquen los valores diferentes y se confirme si existe un bug.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I load the same model trained with megatron + megablocks, and I found the load_balancing_loss is slightly different. When I increase the pipeline_parallel_size, the load_balancing_loss is also increasing. Is it just the problem of precision or there is a potential bug？
For example, when I train a 500M gpt model with 64 experts, I list the lbl and pp_size in the table below.
| pp_size | lbl |
|---|---|
| 1 | 1.005E-01 |
| 2 | 1.007E-01 |
| 4 | 1.013E-01 |
- Lenguaje dominante
- Python
- Estrellas
- 1.6k
- Forks
- 228
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/megablocks
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
databricks/megablocks#188 · 2 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
databricks/megablocks#180 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
databricks/megablocks#178 · 1 comentario ·
Todos los issues de databricks/megablocks
Issues similares
-
comp/tools P2 type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
NousResearch/hermes-agent#142908 · 1 comentario ·
-
[oblt-aw][autodoc] Fix malformed headings in new Buildkite docs pagesPosiblemente ocupada @github-actions la tomó hoy. Abiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 83/100
Los mantenedores suelen responder en 1 día
-
[Bug]: fileUploadMatrix.test.ts URL case does a real DNS lookup and fails offlinePosiblemente ocupada @r2jaff la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ComposioHQ/composio#5054 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
pytorch/tensordict#3286 ·
Los mantenedores suelen responder en 1 día