[32B Dense] Mid-training downstream evals
@JeniaJitsev ci sta già lavorando.
Dal 16/9/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
One-time setup
List of evals here
S=/e/scratch/e-sta-openeurollm/$USER
mkdir -p $S
export UV_TOOL_DIR=$S/uv-tools UV_TOOL_BIN_DIR=$S/uv-tools/bin UV_CACHE_DIR=$S/uv-cache UV_PYTHON_INSTALL_DIR=$S/uv-python
export PATH=$UV_TOOL_BIN_DIR:$PATH # add these two export lines to ~/.bashrc
uv tool install -p 3.12 "git+https://github.com/OpenEuroLLM/oellm-eval@feat/flag-evals"
git clone -b feat/flag-evals https://github.com/OpenEuroLLM/oellm-eval $S/oellm-eval
uvx --from huggingface_hub hf auth login
cd $S/oellm-eval
scripts/jupiter_flag_evals.sh prefetch
EXPORT=/e/scratch/…/hf/<checkpoint> # HF export dir: config.json + *.safetensors
scripts/jupiter_flag_evals.sh views $EXPORT
scripts/jupiter_flag_evals.sh render $(basename $EXPORT)
# prints two lines "sbatch …/submit_evals.sbatch"; run both:
sbatch <printed vllm script> # 363 evals
sbatch <printed lighteval script> # 73 evals
Deprecated, only the 77 eval suite on feat/vllm-data-parallel
Clone oellm-autoexp and check out the branch with the scripts (until it is merged):
git clone [email protected]:OpenEuroLLM/oellm-autoexp.git
cd oellm-autoexp && git checkout feat/downstream-eval-32b
git submodule update --init submodules/oellm-eval
uv tool install -p 3.12 submodules/oellm-eval
oellm-eval is a submodule pinned on branch feat/vllm-data-parallel; the scripts import it as a
Python package. Set EVAL_REPO=<path> only to test your own oellm-eval checkout instead.
You also need membership of the Slurm account you want to charge (e-ext-2025e02-108 or
e-sta-openeurollm, chosen with ACCOUNT=), and write access to the shared eval directory.
Weight storage
Converted HF checkpoints can be found here:
/e/fscratch/e-sta-openeurollm/jj1/eval/hf/e/scratch/e-sta-openeurollm/production_training/downstream_eval_32b/hf
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 3
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupForse già presa @aaronkl l’ha presa 9 giorni fa. ApertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reazione · 1 assegnatario ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingForse già presa @ibaucells l’ha presa 9 giorni fa. ApertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario ·
-
Synthetic Generation for Multilingual Instruction TuningForse già presa @abhash-er l’ha presa 10 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 assegnatario ·
-
Safety and alignment evaluationForse già presa @BirgerMoell l’ha presa 10 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 assegnatario ·
-
Finding optimal dataset mixtures for DPOForse già presa @geoalgo l’ha presa 10 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 assegnatari ·