Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[32B Dense] Comparison v1 vs. v2 run

Đang mở
  • Có gì không ổn?
#412 7 bình luận 0 reaction 1 người được giao Xem trên GitHub

@tvosch đang làm issue này rồi.

Từ ngày 22/9/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

T4.4 - model training

Goal

Pick the run to continue for the rest of the 32B dense run: v1 or v2. The deciding point for now is at 86k iterations or 1.4T tokens of the total 10-15T.

v1 run
  • FP8
  • lr: 3e-4
  • z-loss 1e-4
  • defer_embedding_wgrad_compute: true
  • At 64k loss diverged: z-loss was lowered to 1e-5 QK-layernorm: weight decay, RMS-norm weight decay, Fused CE and z-loss gradients in FP32. This run is called B1
  • Also a 86k fork with defer_embedding_wgrad_compute: false only
  • wandb: https://wandb.ai/openeurollm-project/oellm_32b_dense
v2 run

Approach

Since comparing the two runs on either loss, validation loss or downstream evaluation with different learning rates, we expect the lower learning rate to be favoured within the constant learning rate phase -> so lower loss, higher eval score. The higher learning rate (under the condition that the run is stable) is to outperform on downstream evaluation only after proper annealing.

Annealing can be expensive so we approximate annealing with WSM. @geoalgo already reproduced this on prelude here

For simplicity we do annealing on 5 checkpoints uniformly (so averaging with equal weights) across checkpoints of 2000 iterations apart (78k–86k; 230k–238k).

Downstream evaluation is done with oellm-eval

For uniform checkpoint merging we take 5 checkpoints and average them with equal weight

branch checkpoints merged source
v2 + z-loss at 86k 78000, 80000, 82000, 84000, 86000 /e/scratch/e-sta-openeurollm/production_training/oellm_32b_v2_zloss_unfused_i60k_gbs4096_lr1.76e-4/checkpoints
defer-off fork at 86k 78000, 80000, 82000, 84000, 86000 /e/scratch/e-sta-openeurollm/production_training/oellm_32b_dense_prod_dataopt5_deferoff_3e-4_i64k_seed1234/checkpoints
B1 at 86k 78000, 80000 /e/fscratch/e-sta-openeurollm/jj1/reanimation_64k_20260911/B1-reborn/training_ckpts/checkpoints
82000, 84000, 86000 /e/fscratch/e-sta-openeurollm/jj1/reanimation_64k_20260911/B1-reborn-production/training_ckpts/checkpoints
B1 at 238k 230000, 232000, 234000, 236000, 238000 same B1-reborn-production tree

B1 at 86k spans two directories because -production starts at 82000; the two trees share a
trajectory (their iter_0082000 are bit-identical, checked before merging).

Outputs: /e/scratch/e-sta-openeurollm/vanosch1/wsm_test/merged_32b_*; HF exports
downstream_eval_32b/hf/{v2zloss,fork,b1}_merge5_* and b1_238k.

Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
3
Fork
0
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenEuroLLM/Taskboard

Tất cả issue của OpenEuroLLM/Taskboard

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.