Lightning-AI/pytorch-lightning

Resuming should allow to differentiate what to resume (steps/opti/weights)

Open

#5339 aperta il 3 gen 2021

Vedi su GitHub
 (26 commenti) (18 reazioni) (0 assegnatari)Python (3233 fork)batch import
featurehelp wantedpriority: 1

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Currently it is possible to either resume only the full training state (epoch/global steps / optimizer / scheduler options / and weights), or only the weights.

I would like to be able to switch the optimizer at some point, i.e. skip restoring optimizer/scheduler, but still load the epoch/global steps. I only see a way to do this with hacks at the moment. Any other way? Could this be a feature, to specify in the trainer.init function specifically what to restore/what not to restore?

Guida contributor

Direzione di ricerca
Analizza la logica di ripristino del checkpoint corrente in Lightning e modifica il `Trainer` o `CheckpointConnector` per accettare un parametro per il ripristino selettivo dei componenti dello stato di training.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch Lightning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40