kaldi-asr/kaldi

Update single job scripts like utils/data/get_utt2dur.sh, steps/compute_cmvn_stats.sh to use multiple jobs

Open

#984 aberto em 20 de ago. de 2016

Ver no GitHub
 (6 comments) (0 reactions) (0 assignees)Shell (5.359 forks)batch import
enhancementhelp wantedstale

Métricas do repositório

Stars
 (15.392 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

In the large data recipes in Kaldi many single job scripts in steps/* and utils/*, which were very fast for normal sized LVCSR tasks, consume several hours. e.g. on fisher_swbd/aspire the utils/data/get_utt2dur.sh script runs for a few hours.

We need to update these scripts to add parallelization support.

Required skill: shell scripting

Guia do colaborador

Direção de pesquisa
Examine o conteúdo de scripts como utils/data/get utt2dur.sh e steps/compute cmvn stats.sh para entender seus loops de processamento sequencial. Identifique estratégias adequadas de paralelização, como dividir listas de entrada e executar várias instâncias, ou usar arrays de jobs em ambientes de cluster.
Pilha de tecnologia
shell
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Shell scripting
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40