[Baby 9B dense] Downstream evals
オープン
@jindrahelcl がすでに取り組んでいます。
2026年7月24日 から。
評価
この issue はまだ評価されていません。
説明
T4.4 - model training
T5.1 - static evals
Goal: Evaluate baby (aka prelude aka oellm-9b) intermediate checkpoints on downstream task evals.
Description: We are currently evaluating the checkpoints for every 0.5T tokens starting from 1T on the following task groups (in progress):
- dclm-core-22
- oellm-multilingual
- reasoning
Deliverable scope:
- Downstream eval numbers for intermediate as well as the final cooled down checkpoint on 10T tokens.
- Compare them with some baseline models of equivalent size: datamix 9B-80-20, apertus 8B, Olmo3 7B, EuroLLM 9B, Marin 8B, and final models of Qwen 3 8B, Qwen3.5-9B. See ellamind base-eval plot.
Dependencies:
- Checkpoint conversion from MegatronLM to HF format, current converted checkpoints can be found on HF.
- Some tasks in reasoning depend on
evalchemywhich are currently failing in container - For some tasks we need a chat template
- 主要言語
- 言語のデータがありません
- スター
- 3
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenEuroLLM/Taskboard のほかの issue
-
[nucleus sparse] Experiment setup対応中かも @aaronkl が 7 日前に担当しました。 オープンT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · リアクション 1 件 · 担当者 1 名 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling対応中かも @ibaucells が 7 日前に担当しました。 オープンT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · コメント 2 件 · 担当者 1 名 ·
-
Synthetic Generation for Multilingual Instruction Tuning対応中かも @abhash-er が 8 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#437 · 担当者 1 名 ·
-
Safety and alignment evaluation対応中かも @BirgerMoell が 8 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#436 · 担当者 1 名 ·
-
Finding optimal dataset mixtures for DPO対応中かも @geoalgo が 8 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#435 · 担当者 3 名 ·