Lightning-AI/pytorch-lightning

BUG when Trainer.test() with deepspeed stage 3

Open

#14.090 aberto em 8 de ago. de 2022

Ver no GitHub
 (2 comments) (2 reactions) (0 assignees)Python (3.233 forks)batch import
bughelp wantedrepro neededstrategy: deepspeed

Métricas do repositório

Stars
 (26.687 stars)
Métricas de merge de PR
 (Mesclagem média 9d 15h) (3 fundiu PRs em 30d)

Description

🐛 Bug

Hi, I meet some bugs when I combine lightning with deepspeed follow https://pytorch-lightning.readthedocs.io/en/latest/common/trainer.html#trainer-class-api.

I find that:

  • Trainer.fit() is compatible well with deepspeed stage 2 and 3 .
  • Trainer.test() is compatible with deepspeed stage 2.
  • There is some bugs when combine Trainer.test() with deepspeed stage 3:

When initialize DeepSpeedStrategy with deepspeed config and then test, I will encounter this bug, I have tried to change the config, but this bug is exsited whatever.

image

When initialize DeepSpeedStrategy with lightning args, I will encounter two problems, the generate speed is too slow (I used huggingface transformers and their generate() method) than the deepspeed inference scripts in https://www.deepspeed.ai/tutorials/inference-tutorial/. In addition, I also meet a bug called index of range because of self.__step of deepspeed engine.

Hope for better compatibility between lightning and deepspeed !

cc @awaelchli @rohitgr7 @akihironitta

Guia do colaborador

Direção de pesquisa
Investigue a compatibilidade de Trainer.test() com o DeepSpeed stage 3 examinando a integração do DeepSpeed no loop de teste do Lightning. Compare as diferenças em relação ao stage 2 e ao método fit. Verifique o contador de passos do mecanismo DeepSpeed e possíveis problemas de acúmulo de gradiente ou estado do modelo durante a avaliação.
Pilha de tecnologia
pythonpytorch
Domain
backendinfrastructure
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchDeepSpeedPyTorch Lightning
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60