kaldi-asr/kaldi

Multi-GPU training capability for the Pytorch Transformer LM training script - https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh

Open

#4,699 opened on 2022年2月16日

GitHub で見る
 (3 comments) (0 reactions) (0 assignees)Shell (15,392 stars) (5,359 forks)batch import
enhancementhelp wantedstale-exclude

説明

I used the script ### https://github.com/kaldi-asr/kaldi/blob/master/egs/wsj/s5/local/pytorchnn/run_nnlm.sh, but I could not figure out how we could distribute the training of Transformer based LM on multiple GPUs in order to speed-up the Pytorch training. Please suggest if there is any way to do so.

Thanks!

コントリビューターガイド

技術スタック
pythonpytorch
領域
machine learningperformance
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
4
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
over 1 week
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
unclear
前提条件
PyTorch basicsDistributed training concepts
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
20
調査方針
Investigate adding multi GPU support to the PyTorch Transformer LM training script at kaldi/egs/wsj/s5/local/pytorchnn/run nnlm.sh. Review PyTorch's DistributedDataParallel (DDP) and how it can be integrated. Check if the script already has any GPU options. Look at comments from maintainers for guidance.