[BUG] Optimizer Weights Not Reloaded When Training with bf16 Pretrained Weights
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza en third_party/Megatron-LM/megatron/checkpointing.py, en la condición de load_checkpoint alrededor de la línea 585. Verifica el comportamiento de los pesos del optimizador al cargar pesos preentrenados con bf16, y considera completado el issue cuando esa ruta restablezca los pesos del optimizador de forma coherente con fp16.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
While working with the load_checkpoint function in the file third_party/Megatron-LM/megatron/checkpointing.py, I noticed that the condition on line 585:
if args.fp16 and optimizer is not None:
should be modified to:
if (args.fp16 or args.bf16) and optimizer is not None:
Without it, when using bf16 and attempting to load pretrained model weights to continue training, the weights in the optimizer will not be reset to the pretrained model weights. As a result, the training process becomes virtually no different from starting the training from scratch.
I am aware that the proper course of action would be to submit a Pull Request to the Megatron-LM repository linked herein. However, I wanted to raise this issue here as well to alert others of the current problem in the codebase.
- Lenguaje dominante
- Python
- Estrellas
- 1.6k
- Forks
- 228
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/megablocks
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
databricks/megablocks#188 · 2 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
databricks/megablocks#180 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
databricks/megablocks#178 · 1 comentario ·
Todos los issues de databricks/megablocks
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Arekkazu/sgpmp-backend#744 ·
Los mantenedores suelen responder en 1 día
-
Review backlog (security): master-branch remote guard trusts unbound provenance package fieldAbiertoagent/reviewer
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
projectbluefin/utah-packages#634 ·
Los mantenedores suelen responder en 1 día
-
enhancement good first issue help wanted
Dificultad 2/5 1-2 días Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
home-assistant/core#188613 ·
Los mantenedores suelen responder en 1 día
-
WebsiteAbiertogood first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 91/100
TanbirRamim/open-source-radar#314 ·
Los mantenedores suelen responder en 1 día