Lightning-AI/pytorch-lightning

Leak RAM when training 8 core TPU

Open

#16.876 aberto em 26 de fev. de 2023

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (3.233 forks)batch import
accelerator: tpubughelp wantedperformancerepro needed

Métricas do repositório

Stars
 (26.687 stars)
Métricas de merge de PR
 (Mesclagem média 9d 15h) (3 fundiu PRs em 30d)

Description

Bug description

I am training on 8 TPU cores but the memory CPU Leak when the epoch ends.

Model

mobilenetV2

Data

cifar100

Env

pytorch_lightning==1.9.3 pytorch==1.13.0 code run on google colab

How to reproduce the bug

No response

Error messages and logs

# Error messages and logs here please

Environment

#- Lightning Component (e.g. Trainer, LightningModule, LightningApp, LightningWork, LightningFlow):
#- PyTorch Lightning Version (e.g., 1.5.0):
#- Lightning App Version (e.g., 0.5.2):
#- PyTorch Version (e.g., 2.0):
#- Python version (e.g., 3.9):
#- OS (e.g., Linux):
#- CUDA/cuDNN version:
#- GPU models and configuration:
#- How you installed Lightning(`conda`, `pip`, source):
#- Running environment of LightningApp (e.g. local, cloud):

More info

No response

cc @carmocca @JackCaoG @Liyang90 @gkroiz @borda @steventk-g

Guia do colaborador

Direção de pesquisa
Investigue o vazamento de memória durante o treinamento TPU no PyTorch Lightning. Comece examinando o loop de treinamento e os componentes de carregamento de dados para picos de uso de memória da CPU após o término da época. Veja o código de integração TPU, provavelmente em `pytorch lightning/plugins/tpu *.py`. Verifique os comentários existentes para detalhes de reprodutibilidade. Considere usar ferramentas de perfilamento de memória para identificar a origem do vazamento.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30