关于RLHF的问题
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 15/100
- Issue 类型
- 文档
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- machine-learning
调研方向
未指定文件、测试或入口点。该 issue 需要明确 SFT、RM 和 PPO 是否被使用或发布；完成标准是给出一份有文档记录且以仓库引用为依据的答案。
由索引模型根据 Issue 内容生成。
描述
请问这些微调模型都是通过SFT微调得来的吗？关于RM和PPO阶段的微调，是没有用到呢？还是没有开源呢？
如果是没有用到RLHF，仅仅只是通过SFT就可以达到不错的效果，说明问答数据集是非常充分的。对于特定领域，
这可能不太可行。
- 主要语言
- Python
- 星标
- 12.3k
- 派生
- 1.1k
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenMOSS/MOSS 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 38/100
-
version?未关闭
难度 4/5 3-5 天 新手友好度 20/100
-
难度 3/5 1-2 天 新手友好度 30/100
-
moss为什么不更新了未关闭
难度 5/5 一周以上 新手友好度 10/100
-
难度 3/5 1-2 天 新手友好度 35/100
相似的 Issue
-
enhancement from-review
难度 2/5 1-3 小时 新手友好度 78/100
khuisman/mcp-gee-sweet#1010 ·
维护者通常 1 天内回复
-
bug confirmed issue
难度 2/5 1-3 小时 新手友好度 72/100
open-webui/open-webui#32333 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
ll7/robot_sf_ll7#10368 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
-
难度 2/5 1-3 小时 新手友好度 68/100
flop-labs/technocore-chat#982 ·
维护者通常 1 天内回复