mozilla/DeepSpeech

Tokenize training transcripts by grapheme (cluster) instead of codepoint

Aperta

#811 aperta il 5 set 2017

Vedi su GitHubGuida contributor
 (2 commenti) (1 reazione) (1 assegnatario)C++ (4093 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (26.755 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Questa issue non ha descrizione indicizzata.

Guida contributor

Direzione di ricerca
Familiarizzati con il codice di tokenizzazione corrente nella pipeline di training di DeepSpeech (probabilmente in Python). Studia come i trascritti sono tokenizzati per codepoint. Poi ricerca come tokenizzare per grapheme cluster usando la segmentazione Unicode (es. la libreria grapheme in Python o ICU in C++). Identifica la posizione esatta nel codice dove avviene la tokenizzazione e proponi modifiche per dividere per grapheme cluster invece che per codepoint. Considera casi limite come caratteri combinanti e sequenze di emoji.
Tech stack
python
Dominio
machine learningaidata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonUnicode text processingDeepSpeech training pipeline
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55