[Baby 9B dense] Downstream evals
@jindrahelcl ya está trabajando en esto.
Desde el 24/7/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Goal: Evaluate baby (aka prelude aka oellm-9b) intermediate checkpoints on downstream task evals.
Description: We are currently evaluating the checkpoints for every 0.5T tokens starting from 1T on the following task groups (in progress):
- dclm-core-22
- oellm-multilingual
- reasoning
Deliverable scope:
- Downstream eval numbers for intermediate as well as the final cooled down checkpoint on 10T tokens.
- Compare them with some baseline models of equivalent size: datamix 9B-80-20, apertus 8B, Olmo3 7B, EuroLLM 9B, Marin 8B, and final models of Qwen 3 8B, Qwen3.5-9B. See ellamind base-eval plot.
Dependencies:
- Checkpoint conversion from MegatronLM to HF format, current converted checkpoints can be found on HF.
- Some tasks in reasoning depend on
evalchemywhich are currently failing in container - For some tasks we need a chat template
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 7 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 7 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·