Investigate performance gap between current and Marianna's pipeline
@Ali-Elganzory ci sta già lavorando.
Dal 29/10/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
- Evaluate all checkpoints listed bellow
- Check failure pattern (truncation / repetition) by looking at samples (
--log_sampleswith harness and available in judgearena too) - Rerun SFT excellent before / after chat template fix from https://huggingface.co/marianna13/prelude-9b-midtrain-v1 to remove starting point cofounding factor
Evaluations to consider (with and without thinking if possible if not just without):
- AIME24
- AIME25
- MATH500
- GPQA-Diamond
- IFEval
- HumanEval+
- MultiPL-E
- ArenaHard-2.0
- elo-eng (on oellm-eval)
Checkpoints to evaluate:
- https://huggingface.co/marianna13/prelude-9b-midtrain-v1 (prelude after context length extension with Marianna's pipeline)
- https://huggingface.co/marianna13/prelude-9b-sft-v2 (prelude after context length extension + SFT with Marianna's pipeline)
- https://huggingface.co/openeurollm/prelude/tree/iter_0953312 (prelude at 8T)
- current prelude trained on dolci-excellent
For evaluations, we should start with latest checkpoint first, let us also start with AIME24/AIME25/Math500/GPQA-Diamond which have strong drops but ideally we evaluate over all SFT trajectory to see evolution.
Let us report results table here so that we have clear tracability / transparency (table and plots)
(only tasks which were decontaminated are included)
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 3
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenEuroLLM/Taskboard
-
Automatic evaluation reporting for model cardForse già presa @spyysalo l’ha presa 1 giorno fa. ApertaT4.5 - cont. eval WP5
OpenEuroLLM/Taskboard#445 · 1 commento · 2 assegnatari ·
-
Collect evaluations for preludeForse già presa @TudorMN l’ha presa 9 giorni fa. Aperta
OpenEuroLLM/Taskboard#443 · 19 commenti · 4 assegnatari ·
-
Improve progress tracker tool for large scale experimentsForse già presa @sam-laing l’ha presa 9 giorni fa. Apertaenhancement T4.2 - model exploration
OpenEuroLLM/Taskboard#441 · 2 assegnatari ·
-
Nucleus sparse experiment setupForse già presa @aaronkl l’ha presa 25 giorni fa. ApertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 commento · 1 reazione · 1 assegnatario ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingForse già presa @ibaucells l’ha presa 25 giorni fa. ApertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario ·