[32B Dense] Mid-training downstream evals
@JeniaJitsev đang làm issue này rồi.
Từ ngày 16/9/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
One-time setup
List of evals here
S=/e/scratch/e-sta-openeurollm/$USER
mkdir -p $S
export UV_TOOL_DIR=$S/uv-tools UV_TOOL_BIN_DIR=$S/uv-tools/bin UV_CACHE_DIR=$S/uv-cache UV_PYTHON_INSTALL_DIR=$S/uv-python
export PATH=$UV_TOOL_BIN_DIR:$PATH # add these two export lines to ~/.bashrc
uv tool install -p 3.12 "git+https://github.com/OpenEuroLLM/oellm-eval@feat/flag-evals"
git clone -b feat/flag-evals https://github.com/OpenEuroLLM/oellm-eval $S/oellm-eval
uvx --from huggingface_hub hf auth login
cd $S/oellm-eval
scripts/jupiter_flag_evals.sh prefetch
EXPORT=/e/scratch/…/hf/<checkpoint> # HF export dir: config.json + *.safetensors
scripts/jupiter_flag_evals.sh views $EXPORT
scripts/jupiter_flag_evals.sh render $(basename $EXPORT)
# prints two lines "sbatch …/submit_evals.sbatch"; run both:
sbatch <printed vllm script> # 363 evals
sbatch <printed lighteval script> # 73 evals
Deprecated, only the 77 eval suite on feat/vllm-data-parallel
Clone oellm-autoexp and check out the branch with the scripts (until it is merged):
git clone [email protected]:OpenEuroLLM/oellm-autoexp.git
cd oellm-autoexp && git checkout feat/downstream-eval-32b
git submodule update --init submodules/oellm-eval
uv tool install -p 3.12 submodules/oellm-eval
oellm-eval is a submodule pinned on branch feat/vllm-data-parallel; the scripts import it as a
Python package. Set EVAL_REPO=<path> only to test your own oellm-eval checkout instead.
You also need membership of the Slurm account you want to charge (e-ext-2025e02-108 or
e-sta-openeurollm, chosen with ACCOUNT=), and write access to the shared eval directory.
Weight storage
Converted HF checkpoints can be found here:
/e/fscratch/e-sta-openeurollm/jj1/eval/hf/e/scratch/e-sta-openeurollm/production_training/downstream_eval_32b/hf
- Ngôn ngữ chính
- Không có dữ liệu ngôn ngữ
- Star
- 3
- Fork
- 0
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupCó thể đã có người làm @aaronkl đã nhận 7 ngày trước. Đang mởT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reaction · 1 người được giao ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingCó thể đã có người làm @ibaucells đã nhận 7 ngày trước. Đang mởT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 bình luận · 1 người được giao ·
-
Synthetic Generation for Multilingual Instruction TuningCó thể đã có người làm @abhash-er đã nhận 8 ngày trước. Đang mở4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 người được giao ·
-
Safety and alignment evaluationCó thể đã có người làm @BirgerMoell đã nhận 8 ngày trước. Đang mở4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 người được giao ·
-
Finding optimal dataset mixtures for DPOCó thể đã có người làm @geoalgo đã nhận 8 ngày trước. Đang mở4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 người được giao ·