rajatsainju2025/code-explainer

Add tests for seq2seq tokenization and causal masking

开放

#2 创建于 2025年8月8日

在 GitHub 查看贡献者指南
 (0 条评论) (0 个反应) (0 位负责人)Python (0 个派生)auto 404
good first issuehelp wanted

仓库指标

星标
 (1 个星标)
PR 合并指标
 (PR 指标待抓取)

描述

Write unit tests covering:\n- Seq2seq preprocessing: source/target tokenization, -100 label masking for pad tokens.\n- Causal preprocessing: prompt masking (-100) and padding masking.\nUse tiny configs to avoid large downloads. Ensure tests run in CI.

贡献者指南

研究方向
阅读分词代码，了解源/目标分词和因果掩码的实现方式。在仓库中查找现有的测试模式。设置一个小型配置以避免大文件下载。使用pytest或现有的测试框架编写单元测试。确保测试覆盖使用 100标签的填充令牌掩码。在本地运行测试并验证通过。
技术栈
python
领域
backend
议题类型
测试
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 小时
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
新近可参与
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonGit
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
70