kaldi-asr/kaldi

Update single job scripts like utils/data/get_utt2dur.sh, steps/compute_cmvn_stats.sh to use multiple jobs

Open

#984 geöffnet am 20. Aug. 2016

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Shell (5.359 Forks)batch import
enhancementhelp wantedstale

Repository-Metriken

Stars
 (15.392 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

In the large data recipes in Kaldi many single job scripts in steps/* and utils/*, which were very fast for normal sized LVCSR tasks, consume several hours. e.g. on fisher_swbd/aspire the utils/data/get_utt2dur.sh script runs for a few hours.

We need to update these scripts to add parallelization support.

Required skill: shell scripting

Contributor Guide

Research-Richtung
Untersuche den Inhalt von Skripten wie utils/data/get utt2dur.sh und steps/compute cmvn stats.sh, um deren sequentielle Verarbeitungsschleifen zu verstehen. Identifiziere geeignete Parallelisierungsstrategien, wie das Aufteilen von Eingabelisten und Ausführen mehrerer Instanzen oder die Verwendung von Job Arrays in Cluster Umgebungen.
Tech Stack
shell
Domain
backend
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Shell scripting
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40