Investigate performance gap between current and Marianna's pipeline
@Ali-Elganzory がすでに取り組んでいます。
2026年10月29日 から。
評価
この issue はまだ評価されていません。
説明
- Evaluate all checkpoints listed bellow
- Check failure pattern (truncation / repetition) by looking at samples (
--log_sampleswith harness and available in judgearena too) - Rerun SFT excellent before / after chat template fix from https://huggingface.co/marianna13/prelude-9b-midtrain-v1 to remove starting point cofounding factor
Evaluations to consider (with and without thinking if possible if not just without):
- AIME24
- AIME25
- MATH500
- GPQA-Diamond
- IFEval
- HumanEval+
- MultiPL-E
- ArenaHard-2.0
- elo-eng (on oellm-eval)
Checkpoints to evaluate:
- https://huggingface.co/marianna13/prelude-9b-midtrain-v1 (prelude after context length extension with Marianna's pipeline)
- https://huggingface.co/marianna13/prelude-9b-sft-v2 (prelude after context length extension + SFT with Marianna's pipeline)
- https://huggingface.co/openeurollm/prelude/tree/iter_0953312 (prelude at 8T)
- current prelude trained on dolci-excellent
For evaluations, we should start with latest checkpoint first, let us also start with AIME24/AIME25/Math500/GPQA-Diamond which have strong drops but ideally we evaluate over all SFT trajectory to see evolution.
Let us report results table here so that we have clear tracability / transparency (table and plots)
(only tasks which were decontaminated are included)
- 主要言語
- 言語のデータがありません
- スター
- 3
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenEuroLLM/Taskboard のほかの issue
-
Automatic evaluation reporting for model card対応中かも @spyysalo が 1 日前に担当しました。 オープンT4.5 - cont. eval WP5
OpenEuroLLM/Taskboard#445 · コメント 1 件 · 担当者 2 名 ·
-
Collect evaluations for prelude対応中かも @TudorMN が 9 日前に担当しました。 オープン
OpenEuroLLM/Taskboard#443 · コメント 19 件 · 担当者 4 名 ·
-
Improve progress tracker tool for large scale experiments対応中かも @sam-laing が 9 日前に担当しました。 オープンenhancement T4.2 - model exploration
OpenEuroLLM/Taskboard#441 · 担当者 2 名 ·
-
Nucleus sparse experiment setup対応中かも @aaronkl が 25 日前に担当しました。 オープンT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · コメント 1 件 · リアクション 1 件 · 担当者 1 名 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling対応中かも @ibaucells が 25 日前に担当しました。 オープンT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · コメント 2 件 · 担当者 1 名 ·