RVC-Project/Retrieval-based-Voice-Conversion-WebUI

Slower Multi-GPU training with 2x the number of GPUs and 4x the amount of VRAM

Aperta

#244 aperta il 7 mag 2023

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Python (2849 fork)batch import
help wantedquestion

Metriche repository

Star
 (18.427 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

I have two systems training on identical datasets

System A has 4 x NVIDIA RTX A5000 (24GB VRAM per GPU), and a batch size of 12 per GPU.

System B has 7 x NVIDIA RTX A6000 (48GB VRAM per GPU), and a batch size of 18 per GPU.

I would expect System B to train much faster. However...

  • System A (96GB total VRAM, batch size 12) takes 11 seconds per epoch.

  • System B (336GB total VRAM, batch size 18) takes 13 seconds per epoch.

I'm wondering if this is down to the overhead of multi-GPU training, or if there's something I'm missing here?

Thank you

Guida contributor

Direzione di ricerca
Investiga il ciclo di addestramento e il caricamento dei dati per potenziali colli di bottiglia nella comunicazione multi GPU.
Tech stack
python
Dominio
machine learning
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchmulti GPU training
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40