Make sure that our models are usefule for practical use (architecture decisions with inference in mind)
@zeppelinche-cmd がすでに取り組んでいます。
2026年7月24日 から。
評価
この issue はまだ評価されていません。
説明
Goal
We want to have a model released that is practically usable.
This means that inference should be reasonably efficient.
Description
With all full attention, our models will be slow and memory heavy. Olmo 3 e.g. used sliding window attention at 3/4 of the layers. We should investigate if the optimal scaling law points show different behavior when switching to such a setting. If nothing changes, potentially, we can switch to such a hybrid for larger scale runs.
Deliverable scope
- run trainings on some scales (of our optimal scaling law points) with sliding window attention on
- test if sliding window attention can be "post-trained" into a existing model (probably not)
Dependencies
none
- 主要言語
- 言語のデータがありません
- スター
- 3
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenEuroLLM/Taskboard のほかの issue
-
[nucleus sparse] Experiment setup対応中かも @aaronkl が 8 日前に担当しました。 オープンT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · リアクション 1 件 · 担当者 1 名 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling対応中かも @ibaucells が 8 日前に担当しました。 オープンT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · コメント 2 件 · 担当者 1 名 ·
-
Synthetic Generation for Multilingual Instruction Tuning対応中かも @abhash-er が 9 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#437 · 担当者 1 名 ·
-
Safety and alignment evaluation対応中かも @BirgerMoell が 9 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#436 · 担当者 1 名 ·
-
Finding optimal dataset mixtures for DPO対応中かも @geoalgo が 9 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#435 · 担当者 3 名 ·