Make sure that our models are usefule for practical use (architecture decisions with inference in mind)
@zeppelinche-cmd ci sta già lavorando.
Dal 24/7/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Goal
We want to have a model released that is practically usable.
This means that inference should be reasonably efficient.
Description
With all full attention, our models will be slow and memory heavy. Olmo 3 e.g. used sliding window attention at 3/4 of the layers. We should investigate if the optimal scaling law points show different behavior when switching to such a setting. If nothing changes, potentially, we can switch to such a hybrid for larger scale runs.
Deliverable scope
- run trainings on some scales (of our optimal scaling law points) with sliding window attention on
- test if sliding window attention can be "post-trained" into a existing model (probably not)
Dependencies
none
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 3
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupForse già presa @aaronkl l’ha presa 8 giorni fa. ApertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reazione · 1 assegnatario ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingForse già presa @ibaucells l’ha presa 8 giorni fa. ApertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario ·
-
Synthetic Generation for Multilingual Instruction TuningForse già presa @abhash-er l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 assegnatario ·
-
Safety and alignment evaluationForse già presa @BirgerMoell l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 assegnatario ·
-
Finding optimal dataset mixtures for DPOForse già presa @geoalgo l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 assegnatari ·