facebookresearch/fairscale

Question in offload.py: Moving activation to CPU does NOT reduce GPU memory.

Aperta

#948 aperta il 4 mar 2022

Vedi su GitHubGuida contributor
 (14 commenti) (0 reazioni) (0 assegnatari)Python (297 fork)auto 404
bughelp wantedoffload_modeltriaged

Metriche repository

Star
 (3411 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I use my cuda_active_bytes function to measure the GPU memory before and after the code line below. I find moving activation to CPU does NOT reduce GPU memory. https://github.com/facebookresearch/fairscale/blob/9f347f373e32ee5cad11a40b70b8e28a74b5e2d4/fairscale/experimental/nn/offload.py#L524

def cuda_active_bytes():
    torch.cuda.synchronize()
    stats = torch.cuda.memory_stats()
    current_active_byte =  stats['active_bytes.all.current']
    return current_active_byte

So actually all the activations generated by forward is still in GPU memory? If so, I think the code line above is redundant.

Guida contributor

Direzione di ricerca
Investiga il meccanismo di offload in offload.py, in particolare la riga che sposta le attivazioni sulla CPU. Controlla se il tensore è effettivamente scollegato o se un riferimento rimane sulla GPU. Utilizza la profilazione della memoria per verificare la memoria GPU prima e dopo. Traccia il ciclo di vita delle attivazioni durante il forward pass.
Tech stack
pythonpytorch
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PyTorchCUDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60