RVC-Project/Retrieval-based-Voice-Conversion-WebUI

Slower Multi-GPU training with 2x the number of GPUs and 4x the amount of VRAM

Open

#244 aberto em 7 de mai. de 2023

Ver no GitHub
 (1 comment) (1 reaction) (0 assignees)Python (2.849 forks)batch import
help wantedquestion

Métricas do repositório

Stars
 (18.427 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

I have two systems training on identical datasets

System A has 4 x NVIDIA RTX A5000 (24GB VRAM per GPU), and a batch size of 12 per GPU.

System B has 7 x NVIDIA RTX A6000 (48GB VRAM per GPU), and a batch size of 18 per GPU.

I would expect System B to train much faster. However...

  • System A (96GB total VRAM, batch size 12) takes 11 seconds per epoch.

  • System B (336GB total VRAM, batch size 18) takes 13 seconds per epoch.

I'm wondering if this is down to the overhead of multi-GPU training, or if there's something I'm missing here?

Thank you

Guia do colaborador

Direção de pesquisa
Investigue o loop de treinamento e o carregamento de dados para possíveis gargalos na comunicação multi GPU.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchmulti GPU training
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40