lllyasviel/ControlNet

Training still OOM on 8GB gpu.

Open

#21 aberto em 12 de fev. de 2023

Ver no GitHub
 (2 comments) (3 reactions) (0 assignees)Python (2.500 forks)batch import
help wanted

Métricas do repositório

Stars
 (27.526 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

It seems that I already used many tricks but training still OOM for 8GB gpu. But inference is good now.

This is strange because I know some textural inversion or dreambooth can be trained on 8GB.

What is the secrect of Automatic1111's optimization? Although xformers may help a bit, the currect sliced attention should require even smaller mem than xformers.

Does it make sence to move text encoder and vae outside gpu when training?

Guia do colaborador

Direção de pesquisa
Investigue o uso de memória durante o treinamento no ControlNet. Foque no mecanismo de atenção e compare com xformers. Faça um perfil de memória usando as ferramentas de memória do PyTorch. Considere mover o codificador de texto e o VAE para a CPU conforme sugerido. Verifique se há otimizações conhecidas no repositório do Automatic1111.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PyTorch basicsGPU memory managementdiffusion modelsattention mechanisms
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20