facebookresearch/fairseq

Add tokens to extend embeddings during fine-tuning

Open

#2,632 创建于 2020年9月18日

在 GitHub 查看
 (13 评论) (0 反应) (0 负责人)Python (6,224 fork)batch import
enhancementhelp wantedneeds triage

仓库指标

Star
 (29,107 star)
PR 合并指标
 (30 天内没有已合并 PR)

描述

🚀 Feature Request

Like add_tokens() in huggingface/transformers (link), this will allow fine-tuning add new embeddings of tokens, which will not be sperated.

Motivation

Some NLG tasks may have non-terminals, which are expected not to be separated by subwords.

贡献者指南

研究方向
研究 Hugging Face 的 'add tokens' 实现，然后确定 fairseq 中处理分词和嵌入的位置（例如 Dictionary 和 TransformerModel）。提出添加新令牌并相应扩展嵌入矩阵的方法。
技术栈
pythonpytorch
领域
machine learning
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonPyTorchTokenizers
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
40