Add support for utoken tokenizer
还没有人认领这个 Issue。
评估
调研方向
未指定文件或测试。首先定位 Tokenizer 接口以及参考 sacremoses 实现的现有实现,然后查看 utoken 的 API;当 Machine 通过该接口提供可正常工作的 utoken 实现时,即表示完成。
由索引模型根据 Issue 内容生成。
描述
utoken is a general-purpose word tokenizer, in the spirit of sacremoses. Machine can provide a utoken implementation of the tokenizer interface.
- 主要语言
- Python
- 星标
- 12
- 派生
- 3
- 平均合并
- 2 天 12 小时
- 30 天内合并 PR
- 4
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
sillsdev/machine.py 的其他 Issue
-
porting
难度 4/5 3-5 天 新手友好度 45/100
sillsdev/machine.py#375 · 已指派 1 人 ·
-
难度 4/5 3-5 天 新手友好度 45/100
sillsdev/machine.py#372 ·
-
invalid
sillsdev/machine.py#370 · 已指派 1 人 ·
-
难度 3/5 1-2 天 新手友好度 72/100
sillsdev/machine.py#373 ·
-
porting
难度 4/5 3-5 天 新手友好度 55/100
sillsdev/machine.py#369 ·
查看 sillsdev/machine.py 的全部 Issue
相似的 Issue
-
agent-ready documentation needs-triage
难度 1/5 1-3 小时 新手友好度 88/100
-
documentation
难度 1/5 1 小时以内 新手友好度 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" 未关闭
难度 1/5 1 小时以内 新手友好度 92/100
-
instance instance add
难度 1/5 1 小时以内 新手友好度 72/100
searxng/searx-instances#939 · 1 条评论 ·
-
area-deployment area-integrations triage:bot-seen
难度 2/5 半天 新手友好度 86/100