InternLM/xtuner

About RLHF need

開放

#93 建立於 2023年9月4日

在 GitHub 查看貢獻者指南
 (3 則留言) (1 個反應) (1 位負責人)Python (443 個分叉)github user discovery
feature requestgood first issue

倉庫指標

星標
 (5,179 顆星)
PR 合併指標
 (平均合併 2天 22小時) (30 天內合併 65 個 PR)

描述

需要实现几种对齐算法 1.PPO 这个没的说，比较传统和通用，但是训练的开销会大一点 2. RAFT LMFLOW社区有做 https://optimalscale.github.io/LMFlow/examples/raft.html 3.pangu-coder2 RRTF (Rank Responses to align Test&Teacher Feedback) 总结一下是说，他们是用了代码单元测试，然后把单元测试的结果作为标签合并Loss微调LLM https://arxiv.org/abs/2307.14936 image image RRTF华为他们这部分没有开源。RAFT是开源了，RRTF可以的话可以一起讨论一起实现一下。

貢獻者指南

研究方向
研究參考的演算法（PPO、RAFT、RRTF），並找到開源實作。針對RRTF，分析論文並與社群討論。可以考慮從已有開源參考的RAFT開始。
技術棧
python
領域
machine learning
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
超過 1 週
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
Python
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
20