[32B Dense] Babysitting instructions
@tvosch đang làm issue này rồi.
Từ ngày 1/7/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Babysitting instructions for 32B model
Software setup
- Get access to Jupiter and the corresponding Strategic allocation
e-sta-openeurollm, Extreme Scale budgete-ext-2025e02-108and datasetsdatasets - Clone oellm-autoexp:
git clone https://github.com/OpenEuroLLM/oellm-autoexp.git --recurse-submodules - Checkout to pretraining branch:
git checkout prod/oellm_32b_dense - If no uv is installed, follow: https://github.com/OpenEuroLLM/oellm-autoexp#quickstart-using-pre-configured-enviroment-and-default-values
- Run a test job that does not interfere with the production job:
uv run python scripts/run_autoexp.py --config-name experiments/... - Check if you have permissions to write files:
getfacl /e/project1/e-sta-openeurollm/production_training/
getfacl /e/project1/e-sta-openeurollm/pre_production_training/
getfacl /e/scratch/e-sta-openeurollm/production_training/
getfacl /e/scratch/e-sta-openeurollm/pre_production_training/
- Set up W&B in .venv:
uv pip install wandbthenwandb login
Start a new training job
- Pull latest changes from
prod/oellm_32b_dense - Run in oellm-exp root:
uv run python scripts/run_autoexp.py --config-name experiments/oellm_32b_dense/oellm_32b_dense_production
All necessary files including logs, checkpoints, data, wandb/tensorboard are stored at path:
/e/project1/e-sta-openeurollm/production_training/oellm_32b_dense_prod_gbs4096_lr3e-4
To exclude nodes, add them to the autoexclusion file at
/e/project1/e-sta-openeurollm/production_training/jupiter_exclude_nodes.txt
[!NOTE]
In case you will start the new training job with auto_restart, this has to be performed over tmux (persistent connection from your local to login node of Leonardo) as the daemon spawning new jobs will work on a live terminal
Babysitting duties
Schedule here https://docs.google.com/spreadsheets/d/1uYidr_VgjRBXxdYZ4b-8UXQmDJFv_jpCMtsDF_Br5Ew/edit?gid=2087395347#gid=2087395347
-
Check running jobs:
... -
Monitor W&B for loss spikes and throughput (tokens/s/GPU) spikes at: https://wandb.ai/openeurollm-project/...
-
Automatic W&B sync should happen already: https://github.com/OpenEuroLLM/Taskboard/issues/340
-
Monitoring tool: https://github.com/OpenEuroLLM/oellm-monitoring
- Ngôn ngữ chính
- Không có dữ liệu ngôn ngữ
- Star
- 3
- Fork
- 0
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupCó thể đã có người làm @aaronkl đã nhận 8 ngày trước. Đang mởT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reaction · 1 người được giao ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingCó thể đã có người làm @ibaucells đã nhận 8 ngày trước. Đang mởT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 bình luận · 1 người được giao ·
-
Synthetic Generation for Multilingual Instruction TuningCó thể đã có người làm @abhash-er đã nhận 9 ngày trước. Đang mở4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 người được giao ·
-
Safety and alignment evaluationCó thể đã có người làm @BirgerMoell đã nhận 9 ngày trước. Đang mở4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 người được giao ·
-
Finding optimal dataset mixtures for DPOCó thể đã có người làm @geoalgo đã nhận 9 ngày trước. Đang mở4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 người được giao ·