[multilingual scaling laws] test prediction on hold out prelude checkpoints
@swag2198 ya está trabajando en esto.
Desde el 7/8/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Goal
Test our current predictions on prelude checkpoints
Description
We don't have annealed checkpoints of prelude at the moment. To test our predictions (#302), we can fit our N, D parameteric function on stable checkpoints of the multilingual law ladder (#161) and predict for different checkpoints of prelude.
Note that, the validation split for evaluating our multilingual scaling law ladder might be part of the training data of prelude, hence there might be differences in the data splits used for prelude and our multilingual scaling law ladder. However, we assume that training and validation loss are the same and hence will just evaluate all checkpoints (prelude + ladder) on the same validation split used in #161.
Deliverable scope
Predictions vs ground truth validation loss for all prelude checkpoints.
Dependencies
Completion of #161 #308
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 7 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 7 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·