[32B Dense] Comparison v1 vs. v2 run
@tvosch がすでに取り組んでいます。
2026年9月22日 から。
評価
この issue はまだ評価されていません。
説明
Goal
Pick the run to continue for the rest of the 32B dense run: v1 or v2. The deciding point for now is at 86k iterations or 1.4T tokens of the total 10-15T.
v1 run
- FP8
lr: 3e-4z-loss 1e-4defer_embedding_wgrad_compute: true- At 64k loss diverged:
z-losswas lowered to1e-5QK-layernorm: weight decay,RMS-norm weight decay, Fused CE and z-loss gradients in FP32. This run is called B1 - Also a 86k fork with
defer_embedding_wgrad_compute: falseonly - wandb: https://wandb.ai/openeurollm-project/oellm_32b_dense
v2 run
- BF16 (22% slower than v1)
lr: 1.76e-4defer_embedding_wgrad_compute: false- no z-loss
- After 60k iteration
z-loss: 1e-4andCE fusion: false - wandb: https://wandb.ai/openeurollm-project/oellm_32b_dense_v2
Approach
Since comparing the two runs on either loss, validation loss or downstream evaluation with different learning rates, we expect the lower learning rate to be favoured within the constant learning rate phase -> so lower loss, higher eval score. The higher learning rate (under the condition that the run is stable) is to outperform on downstream evaluation only after proper annealing.
Annealing can be expensive so we approximate annealing with WSM. @geoalgo already reproduced this on prelude here
For simplicity we do annealing on 5 checkpoints uniformly (so averaging with equal weights) across checkpoints of 2000 iterations apart (78k–86k; 230k–238k).
Downstream evaluation is done with oellm-eval
For uniform checkpoint merging we take 5 checkpoints and average them with equal weight
| branch | checkpoints merged | source |
|---|---|---|
| v2 + z-loss at 86k | 78000, 80000, 82000, 84000, 86000 | /e/scratch/e-sta-openeurollm/production_training/oellm_32b_v2_zloss_unfused_i60k_gbs4096_lr1.76e-4/checkpoints |
| defer-off fork at 86k | 78000, 80000, 82000, 84000, 86000 | /e/scratch/e-sta-openeurollm/production_training/oellm_32b_dense_prod_dataopt5_deferoff_3e-4_i64k_seed1234/checkpoints |
| B1 at 86k | 78000, 80000 | /e/fscratch/e-sta-openeurollm/jj1/reanimation_64k_20260911/B1-reborn/training_ckpts/checkpoints |
| 82000, 84000, 86000 | /e/fscratch/e-sta-openeurollm/jj1/reanimation_64k_20260911/B1-reborn-production/training_ckpts/checkpoints |
|
| B1 at 238k | 230000, 232000, 234000, 236000, 238000 | same B1-reborn-production tree |
B1 at 86k spans two directories because -production starts at 82000; the two trees share a
trajectory (their iter_0082000 are bit-identical, checked before merging).
Outputs: /e/scratch/e-sta-openeurollm/vanosch1/wsm_test/merged_32b_*; HF exports
downstream_eval_32b/hf/{v2zloss,fork,b1}_merge5_* and b1_238k.
- 主要言語
- 言語のデータがありません
- スター
- 3
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenEuroLLM/Taskboard のほかの issue
-
[nucleus sparse] Experiment setup対応中かも @aaronkl が 7 日前に担当しました。 オープンT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · リアクション 1 件 · 担当者 1 名 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling対応中かも @ibaucells が 8 日前に担当しました。 オープンT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · コメント 2 件 · 担当者 1 名 ·
-
Synthetic Generation for Multilingual Instruction Tuning対応中かも @abhash-er が 9 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#437 · 担当者 1 名 ·
-
Safety and alignment evaluation対応中かも @BirgerMoell が 9 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#436 · 担当者 1 名 ·
-
Finding optimal dataset mixtures for DPO対応中かも @geoalgo が 9 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#435 · 担当者 3 名 ·