RVC-Project/Retrieval-based-Voice-Conversion-WebUI

Slower Multi-GPU training with 2x the number of GPUs and 4x the amount of VRAM

Open

#244 ouverte le 7 mai 2023

Voir sur GitHub
 (1 commentaire) (1 réaction) (0 assignés)Python (2 849 forks)batch import
help wantedquestion

Métriques du dépôt

Stars
 (18 427 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

I have two systems training on identical datasets

System A has 4 x NVIDIA RTX A5000 (24GB VRAM per GPU), and a batch size of 12 per GPU.

System B has 7 x NVIDIA RTX A6000 (48GB VRAM per GPU), and a batch size of 18 per GPU.

I would expect System B to train much faster. However...

  • System A (96GB total VRAM, batch size 12) takes 11 seconds per epoch.

  • System B (336GB total VRAM, batch size 18) takes 13 seconds per epoch.

I'm wondering if this is down to the overhead of multi-GPU training, or if there's something I'm missing here?

Thank you

Guide contributeur

Direction de recherche
Enquêtez sur la boucle d'entraînement et le chargement des données pour les goulots d'étranglement potentiels dans la communication multi GPU.
Stack technique
python
Domaine
machine learning
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorchmulti GPU training
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40