Qwen3.5 35B-A3B hybrid MoE weak and strong scaling
Offen
@ibaucells arbeitet bereits daran.
Seit 13.10.2026.
Bewertung
Dieses Issue wurde noch nicht bewertet.
Beschreibung
T4.1 - Optimization HPC
Weak and strong scaling of the hybrid MoE Qwen3.5-35B-A3B model
Scaling hyperparameters
- Fixed global batch size of max 4096
- Node count: min node count (1 node if possible as baseline else higher), 2, 4, 16, 64 higher if possible
Metrics
- Tokens/s/GPU
- TFLOPs/GPU
- MFU
Environment
- Cluster:
- Code:
- Container:
- W&B:
- Megatron LM submodule:
- Vorherrschende Sprache
- Keine Sprachdaten
- Sterne
- 3
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupEvtl. vergeben @aaronkl hat das vor 11 Tagen übernommen. OffenT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 Kommentar · 1 Reaktion · 1 zugewiesene Person ·
-
Synthetic Generation for Multilingual Instruction TuningEvtl. vergeben @abhash-er hat das vor 12 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 zugewiesene Person ·
-
Safety and alignment evaluationEvtl. vergeben @BirgerMoell hat das vor 12 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 zugewiesene Person ·
-
Finding optimal dataset mixtures for DPOEvtl. vergeben @geoalgo hat das vor 13 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 zugewiesene Personen ·
-
DPO checkpoint mergingEvtl. vergeben @HannanJaved hat das vor 13 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#434 · 2 Kommentare · 1 zugewiesene Person ·