RVC-Project/Retrieval-based-Voice-Conversion-WebUI

MacOS | MPS | torch metal work on Train -> step-1 then Step-2 but not on training the model (Step-3)

Open

#991 aberto em 12 de ago. de 2023

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (2.849 forks)batch import
help wanted

Métricas do repositório

Stars
 (18.427 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi is there a way to make the model train on torch metal, mps, even when passing the "mps" manually to the G and D models, it still uses the cpu, I also monitored the GPU performence, it peaks only on the first two steps, but on the model training it peaks the CPU any idea? and it stuck sometimes on "INFO:torch.nn.parallel.distributed:Reducer buckets have been rebuilt in this iteration." for a long time, I was trying to train on a 3 minutes speech, it took more than 5hrs for 20 epoch Thanks is advance

Guia do colaborador

Direção de pesquisa
Verifique como os modelos e dados são movidos para o dispositivo MPS na etapa de treinamento. Certifique se de que todos os tensores e parâmetros do modelo estejam no mesmo dispositivo. Investigue se alguma parte do loop de treinamento força o fallback para CPU. Procure por variáveis de ambiente como PYTORCH MPS HIGH WATERMARK RATIO e ajuste o tamanho do lote para evitar problemas de memória que causam o fallback para CPU. Verifique se a mensagem de reconstrução do bucket do reducer indica problemas de treinamento distribuído; garanta que o treinamento em GPU única não esteja usando wrappers distribuídos inadvertidamente.
Pilha de tecnologia
pythonpytorch
Domain
machine learningbackend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchMPS backend knowledge
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60