kaldi-asr/kaldi

Multi-GPU training capability for the Pytorch Transformer LM training script - https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh

Ouverte

#4 699 ouverte le 16 févr. 2022

Voir sur GitHub
 (3 commentaires) (0 réaction) (0 personne assignée)Shell (5 359 forks)batch import
enhancementhelp wantedstale-exclude

Métriques du dépôt

Stars
 (15 392 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

I used the script ### https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh, but I could not figure out how we could distribute the training of Transformer based LM on multiple GPUs in order to speed-up the Pytorch training. Please suggest if there is any way to do so.

Thanks!

Guide contributeur

Direction de recherche
Étudiez l'ajout de la prise en charge multi GPU au script d'entraînement PyTorch Transformer LM dans kaldi/egs/wsj/s5/local/pytorchnn/run nnlm.sh. Examinez DistributedDataParallel (DDP) de PyTorch et comment il peut être intégré. Vérifiez si le script possède déjà des options GPU. Consultez les commentaires des mainteneurs pour des conseils.
Stack technique
pytorch
Domaine
machine learning
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PyTorchCUDAPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65