baby run post decay performance via weight averaging
@Niccolo-Ajroldi ya está trabajando en esto.
Desde el 26/6/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Goal
Estimate and compute the performance of the baby model after LR decay.
Description
We train at stable LR, what's the performance after LR decay?
Deliverable scope
- Decay the 1T checkpoint
- Predict the performance of the
babymodel after LR decay using Weight Averaging. - Compare the performance of the two weight average checkpoint with the lr-decayed one
Dependencies
Needs the implementation of a weight averaging routine that works on distributed checkpoints.
Needs transferring of checkpoint from Leo to LUMI [in progress].
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 7 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 7 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·