kaldi-asr/kaldi

Multi-GPU training capability for the Pytorch Transformer LM training script - https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh

Open

#4.699 aberto em 16 de fev. de 2022

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Shell (5.359 forks)batch import
enhancementhelp wantedstale-exclude

Métricas do repositório

Stars
 (15.392 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

I used the script ### https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh, but I could not figure out how we could distribute the training of Transformer based LM on multiple GPUs in order to speed-up the Pytorch training. Please suggest if there is any way to do so.

Thanks!

Guia do colaborador

Direção de pesquisa
Investigue a adição de suporte a múltiplas GPUs ao script de treinamento PyTorch Transformer LM em kaldi/egs/wsj/s5/local/pytorchnn/run nnlm.sh. Revise o DistributedDataParallel (DDP) do PyTorch e como ele pode ser integrado. Verifique se o script já possui opções de GPU. Consulte os comentários dos mantenedores para orientação.
Pilha de tecnologia
pytorch
Domain
machine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PyTorchCUDAPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65