[32B Dense] Babysitting instructions
@tvosch ya está trabajando en esto.
Desde el 1/7/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Babysitting instructions for 32B model
Software setup
- Get access to Jupiter and the corresponding Strategic allocation
e-sta-openeurollm, Extreme Scale budgete-ext-2025e02-108and datasetsdatasets - Clone oellm-autoexp:
git clone https://github.com/OpenEuroLLM/oellm-autoexp.git --recurse-submodules - Checkout to pretraining branch:
git checkout prod/oellm_32b_dense - If no uv is installed, follow: https://github.com/OpenEuroLLM/oellm-autoexp#quickstart-using-pre-configured-enviroment-and-default-values
- Run a test job that does not interfere with the production job:
uv run python scripts/run_autoexp.py --config-name experiments/... - Check if you have permissions to write files:
getfacl /e/project1/e-sta-openeurollm/production_training/
getfacl /e/project1/e-sta-openeurollm/pre_production_training/
getfacl /e/scratch/e-sta-openeurollm/production_training/
getfacl /e/scratch/e-sta-openeurollm/pre_production_training/
- Set up W&B in .venv:
uv pip install wandbthenwandb login
Start a new training job
- Pull latest changes from
prod/oellm_32b_dense - Run in oellm-exp root:
uv run python scripts/run_autoexp.py --config-name experiments/oellm_32b_dense/oellm_32b_dense_production
All necessary files including logs, checkpoints, data, wandb/tensorboard are stored at path:
/e/project1/e-sta-openeurollm/production_training/oellm_32b_dense_prod_gbs4096_lr3e-4
To exclude nodes, add them to the autoexclusion file at
/e/project1/e-sta-openeurollm/production_training/jupiter_exclude_nodes.txt
[!NOTE]
In case you will start the new training job with auto_restart, this has to be performed over tmux (persistent connection from your local to login node of Leonardo) as the daemon spawning new jobs will work on a live terminal
Babysitting duties
Schedule here https://docs.google.com/spreadsheets/d/1uYidr_VgjRBXxdYZ4b-8UXQmDJFv_jpCMtsDF_Br5Ew/edit?gid=2087395347#gid=2087395347
-
Check running jobs:
... -
Monitor W&B for loss spikes and throughput (tokens/s/GPU) spikes at: https://wandb.ai/openeurollm-project/...
-
Automatic W&B sync should happen already: https://github.com/OpenEuroLLM/Taskboard/issues/340
-
Monitoring tool: https://github.com/OpenEuroLLM/oellm-monitoring
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 8 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 8 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 9 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 9 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 9 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·