open-mmlab/mmsegmentation

Too much GPU memory consumption and seems wrong

Open

#3167 aperta il 6 lug 2023

Vedi su GitHub
 (18 commenti) (0 reazioni) (0 assegnatari)Python (2386 fork)batch import
good first issue

Metriche repository

Star
 (6867 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

When I use resnet101 with deeplabv3+ in this lib 'https://github.com/VainF/DeepLabV3Plus-Pytorch', I can train for 40 batch size on 2 GPUs, 20 batch size for each GPU, and it consumes about 36 GB. However, when I use your lib, for 2 batch size on 1 GPUs, it consumes about 15 GB

Guida contributor

Direzione di ricerca
Profila l'utilizzo della memoria GPU utilizzando strumenti come nvidia smi o torch.cuda.memory summary, confronta con DeepLabV3Plus Pytorch per identificare differenze nelle allocazioni di tensori o nel gradient checkpointing.
Tech stack
pythonpytorch
Dominio
machine learningbackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchGPU memory profiling
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40