Tokenize training transcripts by grapheme (cluster) instead of codepoint

Metriche repository

Star

26.755 star (26.755 star)

Metriche merge PR

Nessuna PR mergiata in 30 g (Nessuna PR mergiata in 30 g)

Descrizione

Questa issue non ha descrizione indicizzata.

Guida contributor

Direzione di ricerca

Familiarizzati con il codice di tokenizzazione corrente nella pipeline di training di DeepSpeech (probabilmente in Python). Studia come i trascritti sono tokenizzati per codepoint. Poi ricerca come tokenizzare per grapheme cluster usando la segmentazione Unicode (es. la libreria grapheme in Python o ICU in C++). Identifica la posizione esatta nel codice dove avviene la tokenizzazione e proponi modifiche per dividere per grapheme cluster invece che per codepoint. Considera casi limite come caratteri combinanti e sequenze di emoji.

Tech stack

python

Dominio

machine learningaidata

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

Mezza giornata

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

PythonUnicode text processingDeepSpeech training pipeline

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

55