Collect evaluations for prelude
@TudorMN ci sta già lavorando.
Dal 29/10/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
What: collect set of evaluations to release prelude, should contain multilingual suite (@maxidl already evaluated English suite)
- gather evaluations done by Haider / Tudor / David / others [David]
- script to automatically list evaluations missing [David]
- schedule missing evaluations [Alicia? Tudor? Haider?]
- update dashboard / plots [David or anyone willing to to it, happy to share scripts]
evaluations would have to be scheduled on MN due to LUMI queue being unusable unfortunately.
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 3
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenEuroLLM/Taskboard
-
Automatic evaluation reporting for model cardForse già presa @spyysalo l’ha presa 1 giorno fa. ApertaT4.5 - cont. eval WP5
OpenEuroLLM/Taskboard#445 · 1 commento · 2 assegnatari ·
-
Investigate performance gap between current and Marianna's pipelineForse già presa @Ali-Elganzory l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#442 · 3 commenti · 2 assegnatari ·
-
Improve progress tracker tool for large scale experimentsForse già presa @sam-laing l’ha presa 9 giorni fa. Apertaenhancement T4.2 - model exploration
OpenEuroLLM/Taskboard#441 · 2 assegnatari ·
-
Nucleus sparse experiment setupForse già presa @aaronkl l’ha presa 25 giorni fa. ApertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 commento · 1 reazione · 1 assegnatario ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingForse già presa @ibaucells l’ha presa 25 giorni fa. ApertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario ·