lllyasviel/ControlNet

Low VRAM tests (now 8GB ok, begin to solve 6gb)

Open

#3 aperta il 11 feb 2023

Vedi su GitHub
 (21 commenti) (3 reazioni) (0 assegnatari)Python (2500 fork)batch import
help wanted

Metriche repository

Star
 (27.526 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 8.00 GiB total capacity; 7.14 GiB already allocated; 0 bytes free; 7.26 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Guida contributor

Direzione di ricerca
Indaga l'allocazione della memoria in PyTorch e identifica le aree in cui è possibile risparmiare memoria, come l'uso del gradient checkpointing, la riduzione della dimensione del batch o l'ottimizzazione dei livelli del modello. Osserva l'attuale utilizzo della memoria con nvidia smi e il profiler di memoria di PyTorch. Esplora impostazioni come max split size mb menzionate nell'errore. L'obiettivo è far funzionare il codice su GPU da 6GB.
Tech stack
pythonpytorch
Dominio
machine learningperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchCUDA basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40