Lightning-AI/pytorch-lightning

enable loading `universal checkpointing` checkpoint in `DeepSpeedStrategy`

Open

#20.065 aberto em 9 de jul. de 2024

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Python (3.233 forks)batch import
featurehelp wantedstrategy: deepspeed

Métricas do repositório

Stars
 (26.687 stars)
Métricas de merge de PR
 (Mesclagem média 9d 15h) (3 fundiu PRs em 30d)

Description

Description & Motivation

After I trained a model in some numbers of gpus, say, 8 gpus for a while, It's difficult to load the checkpoint to 16 gpus with optimizer and model states unchanged. The deepspeed has developed the universal checkpointing strategy to solve this problem, but I didn't see the pytorch-lightning has this feature.

Pitch

I want the pytorch-lightning could support this feature

Alternatives

try to add universal_checkpoint as a param of DeepSpeedStrategy and modify the class refering to https://www.deepspeed.ai/tutorials/universal-checkpointing/

Additional context

No response

cc @borda @awaelchli

Guia do colaborador

Direção de pesquisa
Examine a classe DeepSpeedStrategy no PyTorch Lightning e o tutorial de checkpoint universal do DeepSpeed para implementar suporte para carregar checkpoints universais. Foco em adicionar um parâmetro 'universal checkpoint' e modificar o método load checkpoint.
Pilha de tecnologia
pythonpytorch
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchDeepSpeed
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50