[feat] Staged training
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 12/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
The issue proposes a staged training feature built around Trainer and a stages:list[TrainerConfig] config argument, and it has no files or tests named yet. Start by reading the existing Trainer and TrainerConfig code and related issue #126 to choose between a new StagedTrainer and extending Trainer. Done would need a design agreed with maintainers first, since the approach is still open.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
🧐 Problem Description
We often want to have staged training where we modify the training scheme mid-training. For example we may want to:
- Switch the dataset
- Change the optimization scheme (lr schedule, freeze/unfreeze some weights, etc.)
- Change the batch configuration (batch size, sequence length, etc.)
- Tune up performance parameters according to the new configuration (including distributed config).
- Change the cluster size
💡 Proposed Solution
Implement a "StagedTrainer"or adapt Trainer to swap the training scheme between stages.
On the config side, add a stages:list[TrainerConfig] argument that can be used to override defaults from the parent TrainerConfig (the overriding behaviour might need some work). This can either go in TrainerConfig or in as separate StagedTrainerConfig selected dynamically (#126).
🔄 Alternatives Considered
Staged training is already possible by running multiple consecutive experiments, but it's more time-consuming and less practical.
📈 Potential Benefits
More flexibility, faster development
- Lingua principale
- Python
- Stelle
- 337
- Fork
- 52
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ServiceNow/Fast-LLM
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
ServiceNow/Fast-LLM#556 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
ServiceNow/Fast-LLM#533 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
ServiceNow/Fast-LLM#510 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
ServiceNow/Fast-LLM#507 ·
Tutte le issue di ServiceNow/Fast-LLM
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
-
Validate finite output clamping limits in StepPredictor.prepare_clamping_params to prevent silent NaN/Inf propagationForse già presa @muskan-creates352 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
mllam/neural-lam#848 ·
I maintainer di solito rispondono entro 2 giorni
-
infra
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
fab-geocommuns/RNB-coeur#1166 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
deepspeedai/DeepSpeed#8951 ·
I maintainer di solito rispondono entro 2 giorni