lllyasviel/ControlNet

Training still OOM on 8GB gpu.

Open

#21 aperta il 12 feb 2023

Vedi su GitHub
 (2 commenti) (3 reazioni) (0 assegnatari)Python (2500 fork)batch import
help wanted

Metriche repository

Star
 (27.526 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

It seems that I already used many tricks but training still OOM for 8GB gpu. But inference is good now.

This is strange because I know some textural inversion or dreambooth can be trained on 8GB.

What is the secrect of Automatic1111's optimization? Although xformers may help a bit, the currect sliced attention should require even smaller mem than xformers.

Does it make sence to move text encoder and vae outside gpu when training?

Guida contributor

Direzione di ricerca
Indaga sull'utilizzo della memoria durante l'addestramento in ControlNet. Concentrati sul meccanismo di attenzione e confronta con xformers. Profila la memoria utilizzando gli strumenti di memoria di PyTorch. Considera lo spostamento dell'encoder di testo e del VAE sulla CPU come suggerito. Verifica se ci sono ottimizzazioni note dal repository di Automatic1111.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PyTorch basicsGPU memory managementdiffusion modelsattention mechanisms
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20