Tokenize training transcripts by grapheme (cluster) instead of codepoint

Repository-Metriken

Stars

26.755 Stars (26.755 Stars)

PR-Merge-Metriken

Keine gemergten PRs in 30 T (Keine gemergten PRs in 30 T)

Beschreibung

Dieses Issue enthält keine Beschreibung.

Contributor Guide

Research-Richtung

Machen Sie sich mit dem aktuellen Tokenisierungscode in der DeepSpeech Trainingspipeline (wahrscheinlich in Python) vertraut. Studieren Sie, wie Transkripte nach Codepunkten tokenisiert werden. Recherchieren Sie dann, wie man mit Unicode Segmentierung (z.B. der grapheme Bibliothek in Python oder ICU in C++) nach Graphemclustern tokenisiert. Identifizieren Sie die genaue Stelle im Code, an der die Tokenisierung stattfindet, und schlagen Sie Änderungen vor, um nach Graphemclustern statt nach Codepunkten zu trennen. Berücksichtigen Sie Randfälle wie kombinierende Zeichen und Emoji Sequenzen.

Tech Stack

python

Domain

machine learningaidata

Issue Type

Funktion

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

Halber Tag

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

Aktiv

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

Klar

Voraussetzungen

PythonUnicode text processingDeepSpeech training pipeline

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

55