Lightning-AI/pytorch-lightning

enable loading `universal checkpointing` checkpoint in `DeepSpeedStrategy`

Open

#20.065 aperta il 9 lug 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (3233 fork)batch import
featurehelp wantedstrategy: deepspeed

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Description & Motivation

After I trained a model in some numbers of gpus, say, 8 gpus for a while, It's difficult to load the checkpoint to 16 gpus with optimizer and model states unchanged. The deepspeed has developed the universal checkpointing strategy to solve this problem, but I didn't see the pytorch-lightning has this feature.

Pitch

I want the pytorch-lightning could support this feature

Alternatives

try to add universal_checkpoint as a param of DeepSpeedStrategy and modify the class refering to https://www.deepspeed.ai/tutorials/universal-checkpointing/

Additional context

No response

cc @borda @awaelchli

Guida contributor

Direzione di ricerca
Esamina la classe DeepSpeedStrategy in PyTorch Lightning e il tutorial sul checkpoint universale di DeepSpeed per implementare il supporto per il caricamento di checkpoint universali. Concentrati sull'aggiunta di un parametro 'universal checkpoint' e sulla modifica del metodo load checkpoint.
Tech stack
pythonpytorch
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchDeepSpeed
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50