RVC-Project/Retrieval-based-Voice-Conversion-WebUI

MacOS | MPS | torch metal work on Train -> step-1 then Step-2 but not on training the model (Step-3)

Open

#991 geöffnet am 12. Aug. 2023

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (2.849 Forks)batch import
help wanted

Repository-Metriken

Stars
 (18.427 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hi is there a way to make the model train on torch metal, mps, even when passing the "mps" manually to the G and D models, it still uses the cpu, I also monitored the GPU performence, it peaks only on the first two steps, but on the model training it peaks the CPU any idea? and it stuck sometimes on "INFO:torch.nn.parallel.distributed:Reducer buckets have been rebuilt in this iteration." for a long time, I was trying to train on a 3 minutes speech, it took more than 5hrs for 20 epoch Thanks is advance

Contributor Guide

Research-Richtung
Überprüfen Sie, wie Modelle und Daten im Trainingsschritt auf das MPS Gerät verschoben werden. Stellen Sie sicher, dass alle Tensoren und Modellparameter auf demselben Gerät sind. Untersuchen Sie, ob ein Teil der Trainingsschleife den Fallback auf die CPU erzwingt. Suchen Sie nach Umgebungsvariablen wie PYTORCH MPS HIGH WATERMARK RATIO und passen Sie die Batchgröße an, um Speicherprobleme zu vermeiden, die einen Fallback auf die CPU verursachen. Überprüfen Sie, ob die Nachricht zum Wiederaufbau des Reducer Buckets auf Probleme mit verteiltem Training hinweist; stellen Sie sicher, dass das Single GPU Training nicht versehentlich verteilte Wrapper verwendet.
Tech Stack
pythonpytorch
Domain
machine learningbackend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorchMPS backend knowledge
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60