kaldi-asr/kaldi

Update single job scripts like utils/data/get_utt2dur.sh, steps/compute_cmvn_stats.sh to use multiple jobs

Open

#984 建立於 2016年8月20日

在 GitHub 查看
 (6 留言) (0 反應) (0 負責人)Shell (5,359 fork)batch import
enhancementhelp wantedstale

倉庫指標

Star
 (15,392 star)
PR 合併指標
 (30 天內沒有已合併 PR)

描述

In the large data recipes in Kaldi many single job scripts in steps/* and utils/*, which were very fast for normal sized LVCSR tasks, consume several hours. e.g. on fisher_swbd/aspire the utils/data/get_utt2dur.sh script runs for a few hours.

We need to update these scripts to add parallelization support.

Required skill: shell scripting

貢獻者指南

研究方向
檢查諸如 utils/data/get utt2dur.sh 和 steps/compute cmvn stats.sh 等腳本的內容，了解它們的順序處理循環。確定合適的並行化策略，例如分割輸入列表並運行多個實例，或在集群環境中使用作業數組。
技術棧
shell
領域
backend
議題類型
重構
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-2 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
Shell scripting
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
40