lllyasviel/ControlNet

Low VRAM tests (now 8GB ok, begin to solve 6gb)

Open

#3 aberto em 11 de fev. de 2023

Ver no GitHub
 (21 comments) (3 reactions) (0 assignees)Python (2.500 forks)batch import
help wanted

Métricas do repositório

Stars
 (27.526 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 8.00 GiB total capacity; 7.14 GiB already allocated; 0 bytes free; 7.26 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Guia do colaborador

Direção de pesquisa
Investigue a alocação de memória no PyTorch e identifique áreas onde a memória pode ser economizada, como usar gradient checkpointing, reduzir o tamanho do lote ou otimizar camadas do modelo. Analise o uso atual de memória com nvidia smi e o profiler de memória do PyTorch. Explore configurações como max split size mb mencionadas no erro. O objetivo é fazer o código funcionar em GPUs de 6GB.
Pilha de tecnologia
pythonpytorch
Domain
machine learningperformance
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchCUDA basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40