kaldi-asr/kaldi

Multi-GPU training capability for the Pytorch Transformer LM training script - https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh

Open

#4.699 geöffnet am 16. Feb. 2022

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Shell (5.359 Forks)batch import
enhancementhelp wantedstale-exclude

Repository-Metriken

Stars
 (15.392 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

I used the script ### https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh, but I could not figure out how we could distribute the training of Transformer based LM on multiple GPUs in order to speed-up the Pytorch training. Please suggest if there is any way to do so.

Thanks!

Contributor Guide

Research-Richtung
Untersuche die Hinzufügung von Multi GPU Unterstützung zum PyTorch Transformer LM Trainingsskript unter kaldi/egs/wsj/s5/local/pytorchnn/run nnlm.sh. Prüfe PyTorchs DistributedDataParallel (DDP) und wie es integriert werden kann. Überprüfe, ob das Skript bereits GPU Optionen enthält. Sieh dir die Kommentare der Maintainer für Anleitungen an.
Tech Stack
pytorch
Domain
machine learning
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PyTorchCUDAPython
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65