RVC-Project/Retrieval-based-Voice-Conversion-WebUI

MacOS | MPS | torch metal work on Train -> step-1 then Step-2 but not on training the model (Step-3)

Open

#991 aperta il 12 ago 2023

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (2849 fork)batch import
help wanted

Metriche repository

Star
 (18.427 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hi is there a way to make the model train on torch metal, mps, even when passing the "mps" manually to the G and D models, it still uses the cpu, I also monitored the GPU performence, it peaks only on the first two steps, but on the model training it peaks the CPU any idea? and it stuck sometimes on "INFO:torch.nn.parallel.distributed:Reducer buckets have been rebuilt in this iteration." for a long time, I was trying to train on a 3 minutes speech, it took more than 5hrs for 20 epoch Thanks is advance

Guida contributor

Direzione di ricerca
Controlla come i modelli e i dati vengono spostati sul dispositivo MPS nel passo di training. Assicurati che tutti i tensori e i parametri del modello siano sullo stesso dispositivo. Indaga se qualche parte del loop di training forza il fallback sulla CPU. Cerca variabili d'ambiente come PYTORCH MPS HIGH WATERMARK RATIO e regola la dimensione del batch per evitare problemi di memoria che causano il fallback sulla CPU. Verifica che il messaggio di ricostruzione dei bucket del reducer indichi problemi di training distribuito; assicurati che il training su singola GPU non stia usando involontariamente wrapper distribuiti.
Tech stack
pythonpytorch
Dominio
machine learningbackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchMPS backend knowledge
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60