how to continue pretrain?
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 文档
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
- 领域
- ai, machine-learning
调研方向
该 issue 没有指出任何文件、测试或入口点。首先定位 repository 中关于 pretraining 和数据集加载的说明，然后确定这些说明是否解释了如何使用多个数据集恢复训练。完成的标准是：记录一套可复现且针对该 repository 的继续训练流程，或明确缺失实现的范围。
由索引模型根据 Issue 内容生成。
描述
Thanks for your wonderful work. The bottle-neck of MOSS may lie in datasets used in the pretrain phase. We want to continue pretrain MOSS on multi datasets like 悟道, Wikipedia and so on. Is there any way to continue pretrain?
Thanks in advance!
- 主要语言
- Python
- 星标
- 12.3k
- 派生
- 1.1k
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenMOSS/MOSS 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 38/100
-
version?未关闭
难度 4/5 3-5 天 新手友好度 20/100
-
难度 3/5 1-2 天 新手友好度 30/100
-
moss为什么不更新了未关闭
难度 5/5 一周以上 新手友好度 10/100
-
难度 3/5 1-2 天 新手友好度 35/100
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 77/100
lidofinance/diffyscan#239 ·
维护者通常 1 天内回复
-
area: tools documentation good first issue ready for a contributor
难度 2/5 1-3 小时 新手友好度 82/100
eyalgolan/statecraft-israel#873 · 1 条评论 ·
维护者通常 1 天内回复
-
GET rooms API returns 500 due to nonexistent Room.is_active attribute可能已有人在做 @Mars-60 今天认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 5 天内回复
-
Harmony OPeNDAP SubSetter (HOSS) Geographic production rssmif16d 7 XYZ_PROV
难度 2/5 1-3 小时 新手友好度 62/100
nasa/harmony-autotester#341 ·