单机多卡进行RLHF在第三步中使用Qwen模型作Actor Model报错

评估

调研方向

描述

贡献指南

这个仓库没有索引到贡献指南

从这里开始

1. 先读完整个 Issue，再读项目的贡献指南。
2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
3. Fork 仓库，在一个分支上完成修改。
4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

deepspeedai/DeepSpeedExamples 的其他 Issue

• Compute_rewards in PPO:rewards[j, start:ends[j]][-1] += reward_clip[j] is wrong 未关闭

  难度 2/5 1-3 小时 新手友好度 52/100

  deepspeedai/DeepSpeedExamples#996 · 2025年12月22日 创建

• Step1 failed when I run "bash training_scripts/opt/single_gpu/run_1.3b.sh" 未关闭

  难度 4/5 3-5 天 新手友好度 25/100

  deepspeedai/DeepSpeedExamples#995 · 2025年12月16日 创建

• One example, multiple config files 未关闭

  难度 2/5 1-3 小时 新手友好度 52/100

  deepspeedai/DeepSpeedExamples#989 · 2025年9月8日 创建

• moe example 404 未关闭

  难度 4/5 3-5 天 新手友好度 25/100

  deepspeedai/DeepSpeedExamples#984 · 2025年7月25日 创建

• Possible to include an example of DeepNVMe + state dict 未关闭

  难度 4/5 3-5 天 新手友好度 42/100

  deepspeedai/DeepSpeedExamples#979 · 6 条评论 · 2025年6月19日 创建

查看 deepspeedai/DeepSpeedExamples 的全部 Issue

相似的 Issue

• [Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell 未关闭
  area: harness bug status: needs-triage

  难度 2/5 1-3 小时 新手友好度 75/100

  Human-Agent-Society/reef#625 · 2026年9月24日 创建

• Bump transitive axios to >=1.18.0 to address GHSA-hcpx-6fm6-wx23 未关闭

  难度 2/5 1-3 小时 新手友好度 70/100

  coinbase/cdp-sdk#828 · 2026年9月24日 创建

• AccessibleResourceCard/AccessibleChannelCard crash when a resource has more than one learning activity (getActivityTags returns an object instead of an array) 未关闭

  难度 1/5 1 小时以内 新手友好度 80/100

  learningequality/kolibri#15351 · 2 条评论 · 2026年9月24日 创建

• audeer.path(): optionally expand environment variables 未关闭

  难度 2/5 1-3 小时 新手友好度 75/100

  audeering/audeer#212 · 1 条评论 · 2026年9月24日 创建

• Name consistency 未关闭

  难度 2/5 1-3 小时 新手友好度 75/100

  eellak/triplestore#65 · 1 条评论 · 2026年9月24日 创建

更多 Python Issue