[32B Dense] Mid-training downstream evals
@JeniaJitsev 已经在做这个了。
开始于 2026年9月16日。
评估
这个 Issue 还没有评估数据。
描述
One-time setup
List of evals here
S=/e/scratch/e-sta-openeurollm/$USER
mkdir -p $S
export UV_TOOL_DIR=$S/uv-tools UV_TOOL_BIN_DIR=$S/uv-tools/bin UV_CACHE_DIR=$S/uv-cache UV_PYTHON_INSTALL_DIR=$S/uv-python
export PATH=$UV_TOOL_BIN_DIR:$PATH # add these two export lines to ~/.bashrc
uv tool install -p 3.12 "git+https://github.com/OpenEuroLLM/oellm-eval@feat/flag-evals"
git clone -b feat/flag-evals https://github.com/OpenEuroLLM/oellm-eval $S/oellm-eval
uvx --from huggingface_hub hf auth login
cd $S/oellm-eval
scripts/jupiter_flag_evals.sh prefetch
EXPORT=/e/scratch/…/hf/<checkpoint> # HF export dir: config.json + *.safetensors
scripts/jupiter_flag_evals.sh views $EXPORT
scripts/jupiter_flag_evals.sh render $(basename $EXPORT)
# prints two lines "sbatch …/submit_evals.sbatch"; run both:
sbatch <printed vllm script> # 363 evals
sbatch <printed lighteval script> # 73 evals
Deprecated, only the 77 eval suite on feat/vllm-data-parallel
Clone oellm-autoexp and check out the branch with the scripts (until it is merged):
git clone [email protected]:OpenEuroLLM/oellm-autoexp.git
cd oellm-autoexp && git checkout feat/downstream-eval-32b
git submodule update --init submodules/oellm-eval
uv tool install -p 3.12 submodules/oellm-eval
oellm-eval is a submodule pinned on branch feat/vllm-data-parallel; the scripts import it as a
Python package. Set EVAL_REPO=<path> only to test your own oellm-eval checkout instead.
You also need membership of the Slurm account you want to charge (e-ext-2025e02-108 or
e-sta-openeurollm, chosen with ACCOUNT=), and write access to the shared eval directory.
Weight storage
Converted HF checkpoints can be found here:
/e/fscratch/e-sta-openeurollm/jj1/eval/hf/e/scratch/e-sta-openeurollm/production_training/downstream_eval_32b/hf
- 主要语言
- 没有语言数据
- 星标
- 3
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenEuroLLM/Taskboard 的其他 Issue
-
[nucleus sparse] Experiment setup可能已有人在做 @aaronkl 于 7 天前认领。 未关闭T4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 个 reaction · 已指派 1 人 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling可能已有人在做 @ibaucells 于 8 天前认领。 未关闭T4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 条评论 · 已指派 1 人 ·
-
Synthetic Generation for Multilingual Instruction Tuning可能已有人在做 @abhash-er 于 9 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#437 · 已指派 1 人 ·
-
Safety and alignment evaluation可能已有人在做 @BirgerMoell 于 9 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#436 · 已指派 1 人 ·
-
Finding optimal dataset mixtures for DPO可能已有人在做 @geoalgo 于 9 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#435 · 已指派 3 人 ·