kaldi-asr/kaldi

Update single job scripts like utils/data/get_utt2dur.sh, steps/compute_cmvn_stats.sh to use multiple jobs

Open

#984 aperta il 20 ago 2016

Vedi su GitHub
 (6 commenti) (0 reazioni) (0 assegnatari)Shell (5359 fork)batch import
enhancementhelp wantedstale

Metriche repository

Star
 (15.392 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

In the large data recipes in Kaldi many single job scripts in steps/* and utils/*, which were very fast for normal sized LVCSR tasks, consume several hours. e.g. on fisher_swbd/aspire the utils/data/get_utt2dur.sh script runs for a few hours.

We need to update these scripts to add parallelization support.

Required skill: shell scripting

Guida contributor

Direzione di ricerca
Esamina il contenuto di script come utils/data/get utt2dur.sh e steps/compute cmvn stats.sh per comprendere i loro cicli di elaborazione sequenziale. Identifica strategie di parallelizzazione adatte, come la suddivisione delle liste di input e l'esecuzione di più istanze, o l'uso di array di job in ambienti cluster.
Tech stack
shell
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Shell scripting
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40