Investigate performance gap between current and Marianna's pipeline
@Ali-Elganzory đang làm issue này rồi.
Từ ngày 29/10/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
- Evaluate all checkpoints listed bellow
- Check failure pattern (truncation / repetition) by looking at samples (
--log_sampleswith harness and available in judgearena too) - Rerun SFT excellent before / after chat template fix from https://huggingface.co/marianna13/prelude-9b-midtrain-v1 to remove starting point cofounding factor
Evaluations to consider (with and without thinking if possible if not just without):
- AIME24
- AIME25
- MATH500
- GPQA-Diamond
- IFEval
- HumanEval+
- MultiPL-E
- ArenaHard-2.0
- elo-eng (on oellm-eval)
Checkpoints to evaluate:
- https://huggingface.co/marianna13/prelude-9b-midtrain-v1 (prelude after context length extension with Marianna's pipeline)
- https://huggingface.co/marianna13/prelude-9b-sft-v2 (prelude after context length extension + SFT with Marianna's pipeline)
- https://huggingface.co/openeurollm/prelude/tree/iter_0953312 (prelude at 8T)
- current prelude trained on dolci-excellent
For evaluations, we should start with latest checkpoint first, let us also start with AIME24/AIME25/Math500/GPQA-Diamond which have strong drops but ideally we evaluate over all SFT trajectory to see evolution.
Let us report results table here so that we have clear tracability / transparency (table and plots)
(only tasks which were decontaminated are included)
- Ngôn ngữ chính
- Không có dữ liệu ngôn ngữ
- Star
- 3
- Fork
- 0
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenEuroLLM/Taskboard
-
Automatic evaluation reporting for model cardCó thể đã có người làm @spyysalo đã nhận 1 ngày trước. Đang mởT4.5 - cont. eval WP5
OpenEuroLLM/Taskboard#445 · 1 bình luận · 2 người được giao ·
-
Collect evaluations for preludeCó thể đã có người làm @TudorMN đã nhận 9 ngày trước. Đang mở
OpenEuroLLM/Taskboard#443 · 19 bình luận · 4 người được giao ·
-
Improve progress tracker tool for large scale experimentsCó thể đã có người làm @sam-laing đã nhận 9 ngày trước. Đang mởenhancement T4.2 - model exploration
OpenEuroLLM/Taskboard#441 · 2 người được giao ·
-
Nucleus sparse experiment setupCó thể đã có người làm @aaronkl đã nhận 25 ngày trước. Đang mởT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 bình luận · 1 reaction · 1 người được giao ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingCó thể đã có người làm @ibaucells đã nhận 25 ngày trước. Đang mởT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 bình luận · 1 người được giao ·