kaldi-asr/kaldi

Update single job scripts like utils/data/get_utt2dur.sh, steps/compute_cmvn_stats.sh to use multiple jobs

Ouverte

#984 ouverte le 20 août 2016

Voir sur GitHub
 (6 commentaires) (0 réaction) (0 personne assignée)Shell (5 359 forks)batch import
enhancementhelp wantedstale

Métriques du dépôt

Stars
 (15 392 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

In the large data recipes in Kaldi many single job scripts in steps/* and utils/*, which were very fast for normal sized LVCSR tasks, consume several hours. e.g. on fisher_swbd/aspire the utils/data/get_utt2dur.sh script runs for a few hours.

We need to update these scripts to add parallelization support.

Required skill: shell scripting

Guide contributeur

Direction de recherche
Examinez le contenu des scripts comme utils/data/get utt2dur.sh et steps/compute cmvn stats.sh pour comprendre leurs boucles de traitement séquentiel. Identifiez des stratégies de parallélisation appropriées, telles que la division des listes d'entrée et l'exécution de plusieurs instances, ou l'utilisation de tableaux de jobs dans des environnements de cluster.
Stack technique
shell
Domaine
backend
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Shell scripting
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40