Lightning-AI/pytorch-lightning

Resuming should allow to differentiate what to resume (steps/opti/weights)

Open

#5.339 geöffnet am 3. Jan. 2021

Auf GitHub ansehen
 (26 Kommentare) (18 Reaktionen) (0 zugewiesene Personen)Python (3.233 Forks)batch import
featurehelp wantedpriority: 1

Repository-Metriken

Stars
 (26.687 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 15h) (3 gemergte PRs in 30 T)

Beschreibung

Currently it is possible to either resume only the full training state (epoch/global steps / optimizer / scheduler options / and weights), or only the weights.

I would like to be able to switch the optimizer at some point, i.e. skip restoring optimizer/scheduler, but still load the epoch/global steps. I only see a way to do this with hacks at the moment. Any other way? Could this be a feature, to specify in the trainer.init function specifically what to restore/what not to restore?

Contributor Guide

Research-Richtung
Untersuchen Sie die aktuelle Checkpoint Wiederherstellungslogik in Lightning und ändern Sie den `Trainer` oder `CheckpointConnector`, um einen Parameter für die selektive Wiederherstellung von Trainingsstatuskomponenten zu akzeptieren.
Tech Stack
python
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch Lightning
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40