Hybrid Model Tests

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

Goal
Testing Hybrid model architectures for scaling in comparison to FullAttn

Description
Test Mamba2, GDN, SWA, mLSTM hybrids compared to FullAttn on multilingual scaling best (bs, lr) points

Deliverable scope
Provide a comparison on different scales showing if we should switch to a hybrid arch.
Preliminary data:

At the moment the speed is: SWA > mLSTM, FullAttn, > Mamba2 > GDN. In terms of GPU-hrs based best performance Mamba2 still seems to work best.

Dependencies
none

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenEuroLLM/Taskboard

• [nucleus sparse] Experiment setup

  Forse già presa @aaronkl l’ha presa 8 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  T4.1 - Optimization HPC T4.2 - model exploration

  OpenEuroLLM/Taskboard#439 · 1 reazione · 1 assegnatario · Aperta il 13/10/2026

• Qwen3.5 35B-A3B hybrid MoE weak and strong scaling

  Forse già presa @ibaucells l’ha presa 8 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  T4.1 - Optimization HPC

  OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario · Aperta il 13/10/2026

• Synthetic Generation for Multilingual Instruction Tuning

  Forse già presa @abhash-er l’ha presa 9 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  4.6 post-training

  OpenEuroLLM/Taskboard#437 · 1 assegnatario · Aperta il 12/10/2026

• Safety and alignment evaluation

  Forse già presa @BirgerMoell l’ha presa 9 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  4.6 post-training

  OpenEuroLLM/Taskboard#436 · 1 assegnatario · Aperta il 12/10/2026

• Finding optimal dataset mixtures for DPO

  Forse già presa @geoalgo l’ha presa 9 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  4.6 post-training

  OpenEuroLLM/Taskboard#435 · 3 assegnatari · Aperta il 12/10/2026

Tutte le issue di OpenEuroLLM/Taskboard