RVC-Project/Retrieval-based-Voice-Conversion-WebUI

MacOS | MPS | torch metal work on Train -> step-1 then Step-2 but not on training the model (Step-3)

Open

#991 ouverte le 12 août 2023

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (2 849 forks)batch import
help wanted

Métriques du dépôt

Stars
 (18 427 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hi is there a way to make the model train on torch metal, mps, even when passing the "mps" manually to the G and D models, it still uses the cpu, I also monitored the GPU performence, it peaks only on the first two steps, but on the model training it peaks the CPU any idea? and it stuck sometimes on "INFO:torch.nn.parallel.distributed:Reducer buckets have been rebuilt in this iteration." for a long time, I was trying to train on a 3 minutes speech, it took more than 5hrs for 20 epoch Thanks is advance

Guide contributeur

Direction de recherche
Vérifiez comment les modèles et les données sont déplacés vers le périphérique MPS lors de l'étape d'entraînement. Assurez vous que tous les tenseurs et paramètres du modèle sont sur le même périphérique. Recherchez si une partie de la boucle d'entraînement force le basculement vers le CPU. Cherchez des variables d'environnement comme PYTORCH MPS HIGH WATERMARK RATIO et ajustez la taille du lot pour éviter les problèmes de mémoire qui entraînent un basculement vers le CPU. Vérifiez si le message de reconstruction du bucket du réducteur indique des problèmes d'entraînement distribué; assurez vous que l'entraînement sur GPU unique n'utilise pas involontairement des wrappers distribués.
Stack technique
pythonpytorch
Domaine
machine learningbackend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchMPS backend knowledge
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60