lllyasviel/ControlNet

Training still OOM on 8GB gpu.

Open

#21 geöffnet am 12. Feb. 2023

Auf GitHub ansehen
 (2 Kommentare) (3 Reaktionen) (0 zugewiesene Personen)Python (2.500 Forks)batch import
help wanted

Repository-Metriken

Stars
 (27.526 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

It seems that I already used many tricks but training still OOM for 8GB gpu. But inference is good now.

This is strange because I know some textural inversion or dreambooth can be trained on 8GB.

What is the secrect of Automatic1111's optimization? Although xformers may help a bit, the currect sliced attention should require even smaller mem than xformers.

Does it make sence to move text encoder and vae outside gpu when training?

Contributor Guide

Research-Richtung
Untersuche die Speichernutzung während des Trainings in ControlNet. Konzentriere dich auf den Aufmerksamkeitsmechanismus und vergleiche mit xformers. Profiliere den Speicher mit den Speicherwerkzeugen von PyTorch. Erwäge, den Text Encoder und VAE wie vorgeschlagen auf die CPU zu verschieben. Prüfe, ob es bekannte Optimierungen aus dem Repository von Automatic1111 gibt.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
PyTorch basicsGPU memory managementdiffusion modelsattention mechanisms
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20