Tokenize training transcripts by grapheme (cluster) instead of codepoint

仓库指标

Star

26,755 star (26,755 star)

PR 合并指标

30 天内没有已合并 PR (30 天内没有已合并 PR)

描述

此议题没有描述。

贡献者指南

研究方向

熟悉DeepSpeech训练管道中当前的标记化代码（很可能是Python）。研究如何按代码点对转录文本进行标记。然后研究如何使用Unicode分段（例如Python中的grapheme库或C++中的ICU）按字素簇进行标记化。确定代码库中标记化发生的准确位置，并提出更改以按字素簇而不是代码点进行拆分。考虑组合字符和表情符号序列等边缘情况。

技术栈

python

领域

machine learningaidata

议题类型

功能

难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。

3

预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。

半天

活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。

活跃

清晰度议题是否清楚说明期望改动、验收标准和下一步。

清晰

前置要求

PythonUnicode text processingDeepSpeech training pipeline

新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。

55