Investigate performance gap between current and Marianna's pipeline
@Ali-Elganzory ya está trabajando en esto.
Desde el 29/10/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
- Evaluate all checkpoints listed bellow
- Check failure pattern (truncation / repetition) by looking at samples (
--log_sampleswith harness and available in judgearena too) - Rerun SFT excellent before / after chat template fix from https://huggingface.co/marianna13/prelude-9b-midtrain-v1 to remove starting point cofounding factor
Evaluations to consider (with and without thinking if possible if not just without):
- AIME24
- AIME25
- MATH500
- GPQA-Diamond
- IFEval
- HumanEval+
- MultiPL-E
- ArenaHard-2.0
- elo-eng (on oellm-eval)
Checkpoints to evaluate:
- https://huggingface.co/marianna13/prelude-9b-midtrain-v1 (prelude after context length extension with Marianna's pipeline)
- https://huggingface.co/marianna13/prelude-9b-sft-v2 (prelude after context length extension + SFT with Marianna's pipeline)
- https://huggingface.co/openeurollm/prelude/tree/iter_0953312 (prelude at 8T)
- current prelude trained on dolci-excellent
For evaluations, we should start with latest checkpoint first, let us also start with AIME24/AIME25/Math500/GPQA-Diamond which have strong drops but ideally we evaluate over all SFT trajectory to see evolution.
Let us report results table here so that we have clear tracability / transparency (table and plots)
(only tasks which were decontaminated are included)
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
Automatic evaluation reporting for model cardPosiblemente ocupada @spyysalo la tomó hace 1 día. AbiertoT4.5 - cont. eval WP5
OpenEuroLLM/Taskboard#445 · 1 comentario · 2 asignados ·
-
Collect evaluations for preludePosiblemente ocupada @TudorMN la tomó hace 9 días. Abierto
OpenEuroLLM/Taskboard#443 · 19 comentarios · 4 asignados ·
-
Improve progress tracker tool for large scale experimentsPosiblemente ocupada @sam-laing la tomó hace 9 días. Abiertoenhancement T4.2 - model exploration
OpenEuroLLM/Taskboard#441 · 2 asignados ·
-
Nucleus sparse experiment setupPosiblemente ocupada @aaronkl la tomó hace 25 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 comentario · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 25 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·