[32B Dense] Babysitting instructions
@tvosch がすでに取り組んでいます。
2026年7月1日 から。
評価
この issue はまだ評価されていません。
説明
Babysitting instructions for 32B model
Software setup
- Get access to Jupiter and the corresponding Strategic allocation
e-sta-openeurollm, Extreme Scale budgete-ext-2025e02-108and datasetsdatasets - Clone oellm-autoexp:
git clone https://github.com/OpenEuroLLM/oellm-autoexp.git --recurse-submodules - Checkout to pretraining branch:
git checkout prod/oellm_32b_dense - If no uv is installed, follow: https://github.com/OpenEuroLLM/oellm-autoexp#quickstart-using-pre-configured-enviroment-and-default-values
- Run a test job that does not interfere with the production job:
uv run python scripts/run_autoexp.py --config-name experiments/... - Check if you have permissions to write files:
getfacl /e/project1/e-sta-openeurollm/production_training/
getfacl /e/project1/e-sta-openeurollm/pre_production_training/
getfacl /e/scratch/e-sta-openeurollm/production_training/
getfacl /e/scratch/e-sta-openeurollm/pre_production_training/
- Set up W&B in .venv:
uv pip install wandbthenwandb login
Start a new training job
- Pull latest changes from
prod/oellm_32b_dense - Run in oellm-exp root:
uv run python scripts/run_autoexp.py --config-name experiments/oellm_32b_dense/oellm_32b_dense_production
All necessary files including logs, checkpoints, data, wandb/tensorboard are stored at path:
/e/project1/e-sta-openeurollm/production_training/oellm_32b_dense_prod_gbs4096_lr3e-4
To exclude nodes, add them to the autoexclusion file at
/e/project1/e-sta-openeurollm/production_training/jupiter_exclude_nodes.txt
[!NOTE]
In case you will start the new training job with auto_restart, this has to be performed over tmux (persistent connection from your local to login node of Leonardo) as the daemon spawning new jobs will work on a live terminal
Babysitting duties
Schedule here https://docs.google.com/spreadsheets/d/1uYidr_VgjRBXxdYZ4b-8UXQmDJFv_jpCMtsDF_Br5Ew/edit?gid=2087395347#gid=2087395347
-
Check running jobs:
... -
Monitor W&B for loss spikes and throughput (tokens/s/GPU) spikes at: https://wandb.ai/openeurollm-project/...
-
Automatic W&B sync should happen already: https://github.com/OpenEuroLLM/Taskboard/issues/340
-
Monitoring tool: https://github.com/OpenEuroLLM/oellm-monitoring
- 主要言語
- 言語のデータがありません
- スター
- 3
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenEuroLLM/Taskboard のほかの issue
-
[nucleus sparse] Experiment setup対応中かも @aaronkl が 9 日前に担当しました。 オープンT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · コメント 1 件 · リアクション 1 件 · 担当者 1 名 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling対応中かも @ibaucells が 9 日前に担当しました。 オープンT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · コメント 2 件 · 担当者 1 名 ·
-
Synthetic Generation for Multilingual Instruction Tuning対応中かも @abhash-er が 10 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#437 · 担当者 1 名 ·
-
Safety and alignment evaluation対応中かも @BirgerMoell が 10 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#436 · 担当者 1 名 ·
-
Finding optimal dataset mixtures for DPO対応中かも @geoalgo が 10 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#435 · 担当者 3 名 ·