Owner

OpenRLHF

登入後關注

已索引 1 個儲存庫 · 在 GitHub 檢視

OpenRLHF
An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Asy...

Python · 10067 個 star

適合新手全部

未關閉全部

可能已有人在做的 issue 排在最後。全部依時間排序

EvalPort: portable interchange for compute_eval_metrics results
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 40/100

OpenRLHF/OpenRLHF#1367 · 2026年9月27日建立

維護者通常 1 天內回覆
[Roadmap] OpenRLHF on Intel XPU
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 10/100

OpenRLHF/OpenRLHF#1303 · 1 則留言 · 2026年8月12日建立

維護者通常 1 天內回覆
🔥 Molt brings an Automodel-powered backend (AutoTP/EP/CP) to OpenRLHF
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 10/100

OpenRLHF/OpenRLHF#1273 · 2026年7月27日建立

維護者通常 1 天內回覆
Feature request: reward-hacking onset monitoring hooks during PPO/GRPO training
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 10/100

OpenRLHF/OpenRLHF#1263 · 1 則留言 · 2026年7月10日建立

維護者通常 1 天內回覆
ray error for multi-nodes training
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1236 · 1 則留言 · 2026年5月7日建立

維護者通常 1 天內回覆
Torch 2.10's `LRScheduler._update_lr` breaks LORA
可能重新可做關聯的 PR 已關閉且未合併。未關閉
- 哪裡不對？
難度 1/5 1 小時以內新手友好度 50/100

OpenRLHF/OpenRLHF#1225 · 1 則留言 · 2026年4月21日建立

維護者通常 1 天內回覆
multimodal reward models
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1224 · 1 則留言 · 2026年4月20日建立

維護者通常 1 天內回覆
Sandboxed execution for multi-turn agent rollouts
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 15/100

OpenRLHF/OpenRLHF#1210 · 1 則留言 · 2026年4月1日建立

維護者通常 1 天內回覆
额外的奖励模型如何提升显卡利用率
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 25/100

OpenRLHF/OpenRLHF#1196 · 2 則留言 · 2026年3月19日建立

維護者通常 1 天內回覆
For asynchronous training with vLLM 0.16.0+, please update to OpenRLHF 0.9.5
未關閉
- 哪裡不對？
難度 1/5 1 小時以內新手友好度 18/100

OpenRLHF/OpenRLHF#1193 · 2026年3月5日建立

維護者通常 1 天內回覆
PPO "mini batches"
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 25/100

OpenRLHF/OpenRLHF#1185 · 2026年2月10日建立

維護者通常 1 天內回覆
Support for tool-calling
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

OpenRLHF/OpenRLHF#1183 · 3 則留言 · 2026年2月6日建立

維護者通常 1 天內回覆
Support Qwen3vl GRPO？
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1175 · 1 則留言 · 2 個 reaction · 2026年1月15日建立

維護者通常 1 天內回覆
Reinforcement learning fine-tuning, continuously outputting token 0.
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1165 · 2 則留言 · 2026年1月4日建立

維護者通常 1 天內回覆
知识蒸馏在zero stage 3时偶现通信超时，通常运行一半或几个step出现
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 8/100

OpenRLHF/OpenRLHF#1157 · 2025年12月10日建立

維護者通常 1 天內回覆
Don't Use bf16 for RL, but fp16
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1155 · 1 則留言 · 2025年11月27日建立

維護者通常 1 天內回覆
Ray+Vllm+Lora
未關閉
- 哪裡不對？
難度 4/5 一週以上新手友好度 15/100

OpenRLHF/OpenRLHF#1153 · 1 個 reaction · 2025年11月24日建立

維護者通常 1 天內回覆
Significant Performance Gap between `zero_stage=1` and `zero_stage=2`
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 20/100

OpenRLHF/OpenRLHF#1151 · 5 則留言 · 1 個 reaction · 2025年11月12日建立

維護者通常 1 天內回覆
GRPO load_in_4bit error
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 18/100

OpenRLHF/OpenRLHF#1150 · 2 則留言 · 2025年11月10日建立

維護者通常 1 天內回覆
ref_model可以替换为其他的模型吗，当前是跟actor一致
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 25/100

OpenRLHF/OpenRLHF#1149 · 1 則留言 · 2025年11月9日建立

維護者通常 1 天內回覆
knowledge distillation train
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 10/100

OpenRLHF/OpenRLHF#1146 · 2025年10月30日建立

維護者通常 1 天內回覆
ppo eval
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 22/100

OpenRLHF/OpenRLHF#1145 · 1 則留言 · 2025年10月29日建立

維護者通常 1 天內回覆
ValueError: not enough values to unpack (expected 4, got 3)
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 35/100

OpenRLHF/OpenRLHF#1143 · 2 個 reaction · 2025年10月24日建立

維護者通常 1 天內回覆
Add experiment tracking via `trackio`
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 52/100

OpenRLHF/OpenRLHF#1136 · 2025年10月2日建立

維護者通常 1 天內回覆
SFT deepspeed tp bug !
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 18/100

OpenRLHF/OpenRLHF#1134 · 9 則留言 · 2025年9月24日建立

維護者通常 1 天內回覆
[Bug]: Training suddenly stopped while using hybrid engine
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 10/100

OpenRLHF/OpenRLHF#1133 · 4 則留言 · 2025年9月19日建立

維護者通常 1 天內回覆
Token and text concatenation issue in the process of agentic training.
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 28/100

OpenRLHF/OpenRLHF#1128 · 3 則留言 · 2025年9月4日建立

維護者通常 1 天內回覆
Feature Request: Support for Multimodal Model SFT and RL Training
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

OpenRLHF/OpenRLHF#1127 · 1 個 reaction · 2025年9月2日建立

維護者通常 1 天內回覆
save model nccl timeout
未關閉
- 哪裡不對？
難度 4/5 一週以上新手友好度 12/100

OpenRLHF/OpenRLHF#1126 · 3 則留言 · 2025年9月1日建立

維護者通常 1 天內回覆
Does OpenRLHF currently support PPO training based on Process Reward Model (PRM)?
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 10/100

OpenRLHF/OpenRLHF#1125 · 1 個 reaction · 2025年8月28日建立

維護者通常 1 天內回覆
使用Remote RM 会卡住
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1123 · 2 則留言 · 2025年8月28日建立

維護者通常 1 天內回覆
Proposal: Fully Asynchronous RL Pipeline Support in OpenRLHF
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 10/100

OpenRLHF/OpenRLHF#1116 · 1 則留言 · 2025年8月24日建立

維護者通常 1 天內回覆
DeepSpeed AutoTP with Hybrid Engine
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

OpenRLHF/OpenRLHF#1110 · 2 則留言 · 2025年8月21日建立

維護者通常 1 天內回覆
RL Reward Instability and Reproducibility Issues Tied to vLLM Version
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 15/100

OpenRLHF/OpenRLHF#1108 · 3 則留言 · 1 個 reaction · 2025年8月18日建立

維護者通常 1 天內回覆
wandb中记录的train/generated_samples，sample和reward不是对应的吗
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 20/100

OpenRLHF/OpenRLHF#1107 · 2 則留言 · 2025年8月17日建立

維護者通常 1 天內回覆
agent_func、reward_func时--normalization_reward参数不起作用，对吗
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 28/100

OpenRLHF/OpenRLHF#1106 · 1 則留言 · 2025年8月16日建立

維護者通常 1 天內回覆
[BUG] Cannot reload the dataloader state from checkpoints in ppo training
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 28/100

OpenRLHF/OpenRLHF#1103 · 2 則留言 · 2025年8月11日建立

維護者通常 1 天內回覆
Support for NVIDIA Nsight Systems
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 12/100

OpenRLHF/OpenRLHF#1099 · 2025年8月6日建立

維護者通常 1 天內回覆
Are you considering supporting the FR3E algorithm？
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

OpenRLHF/OpenRLHF#1093 · 2025年7月20日建立

維護者通常 1 天內回覆
Release artifacts (models, dataset) on Hugging Face
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 25/100

OpenRLHF/OpenRLHF#1087 · 2025年7月16日建立

維護者通常 1 天內回覆
[Memory Leak] GPU Memory Accumulates After Each Epoch in Training
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 10/100

OpenRLHF/OpenRLHF#1086 · 1 則留言 · 2025年7月16日建立

維護者通常 1 天內回覆
疑似某次重构导致不再支持无vllm后端的rollout？
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 25/100

OpenRLHF/OpenRLHF#1082 · 2 則留言 · 2025年7月14日建立

維護者通常 1 天內回覆
目前的Lora不支持带vllm的后端吗？
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 20/100

OpenRLHF/OpenRLHF#1081 · 3 則留言 · 2025年7月14日建立

維護者通常 1 天內回覆
Need some help for setting up a usable runtime
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 20/100

OpenRLHF/OpenRLHF#1074 · 2025年7月7日建立

維護者通常 1 天內回覆
How to turn off thinking mode when doing RL on Qwen3
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 20/100

OpenRLHF/OpenRLHF#1073 · 5 則留言 · 2025年7月7日建立

維護者通常 1 天內回覆
Does OpenRLHF support multi-node SFT training?
未關閉
- 哪裡不對？
難度 1/5 1 小時以內新手友好度 25/100

OpenRLHF/OpenRLHF#1072 · 1 則留言 · 2025年7月2日建立

維護者通常 1 天內回覆
SLURM 18.08.3 doesn’t support the --overlap option
未關閉
- 哪裡不對？
難度 2/5 1-3 小時新手友好度 48/100

OpenRLHF/OpenRLHF#1071 · 2025年6月27日建立

維護者通常 1 天內回覆
For VLM training, do we have a parameter that can freeze vision encoder?
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 15/100

OpenRLHF/OpenRLHF#1070 · 2025年6月27日建立

維護者通常 1 天內回覆
Chat template or special tokens are modified during SFT training
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 25/100

OpenRLHF/OpenRLHF#1069 · 2 則留言 · 2025年6月26日建立

維護者通常 1 天內回覆
对于VLM的训练，有没有参数能控制是否freeze vision encoder的
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 22/100

OpenRLHF/OpenRLHF#1068 · 1 個 reaction · 2025年6月25日建立

維護者通常 1 天內回覆

只顯示最新的 100 筆

這個頁面只列出最近收錄的部分。完整清單在進階篩選裡，可以依語言、難度和預計耗時篩選。

前往進階篩選

OpenRLHF

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

只顯示最新的 100 筆

把新 issue 寄到你的電子郵件信箱