kaldi-asr/kaldi

Multi-GPU training capability for the Pytorch Transformer LM training script - https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh

Aperta

#4699 aperta il 16 feb 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Shell (5359 fork)batch import
enhancementhelp wantedstale-exclude

Metriche repository

Star
 (15.392 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I used the script ### https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh, but I could not figure out how we could distribute the training of Transformer based LM on multiple GPUs in order to speed-up the Pytorch training. Please suggest if there is any way to do so.

Thanks!

Guida contributor

Direzione di ricerca
Indaga sull'aggiunta del supporto multi GPU allo script di addestramento PyTorch Transformer LM in kaldi/egs/wsj/s5/local/pytorchnn/run nnlm.sh. Rivedi DistributedDataParallel (DDP) di PyTorch e come può essere integrato. Controlla se lo script ha già opzioni per la GPU. Esamina i commenti dei manutentori per indicazioni.
Tech stack
pytorch
Dominio
machine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PyTorchCUDAPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65