Improve progress tracker tool for large scale experiments

Aperta
  • Qualcosa non va?
#441 0 commenti 0 reazioni 2 assegnatari Vedi su GitHub

@sam-laing ci sta già lavorando.

Dal 29/10/2026.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

enhancement T4.2 - model exploration

The purpose of the tool is to easily track the status of large number of runs and slurm jobs (planned, queued, running, finished, crashed), but also to obtain statistics about the runs (GPUh consumption & storage space realization and estimation, throughput, etc.)

  • Merge the multilingual scaling experiments across all HPC into a single output saved on GH (currently divided across HPCs here)
  • Fix bugs with user run attribution (sometimes the tool detects users who haven't done those runs)
  • Document where the run was executed (HPC, location) and on which data, data mix, etc.
  • Test the tool on a new set of training runs (muon scaling, diffusion etc.)
  • Document the usage of the tool (add README)
Lingua principale
Nessun dato sulla lingua
Stelle
3
Fork
0
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenEuroLLM/Taskboard

Tutte le issue di OpenEuroLLM/Taskboard

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.