lllyasviel/ControlNet

Training still OOM on 8GB gpu.

Open

#21 ouverte le 12 févr. 2023

Voir sur GitHub
 (2 commentaires) (3 réactions) (0 assignés)Python (2 500 forks)batch import
help wanted

Métriques du dépôt

Stars
 (27 526 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

It seems that I already used many tricks but training still OOM for 8GB gpu. But inference is good now.

This is strange because I know some textural inversion or dreambooth can be trained on 8GB.

What is the secrect of Automatic1111's optimization? Although xformers may help a bit, the currect sliced attention should require even smaller mem than xformers.

Does it make sence to move text encoder and vae outside gpu when training?

Guide contributeur

Direction de recherche
Étudiez l'utilisation de la mémoire pendant l'entraînement dans ControlNet. Concentrez vous sur le mécanisme d'attention et comparez avec xformers. Profilez la mémoire en utilisant les outils de mémoire de PyTorch. Envisagez de déplacer l'encodeur de texte et le VAE vers le CPU comme suggéré. Vérifiez s'il existe des optimisations connues dans le dépôt d'Automatic1111.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
PyTorch basicsGPU memory managementdiffusion modelsattention mechanisms
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
20