Hacktoberfest 2026：维护者为十月标记出来的 issue，仍然开放、适合新手。 浏览 Hacktoberfest issue

Actor loss nan and Resizing model embedding

未关闭
#922 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
4/5
预计耗时
3-5 天
新手友好度
25/100
Issue 类型
缺陷
描述清晰度
需要澄清
活跃度
停滞
技术栈
python
领域
machine-learning

调研方向

复现启用 STF 和 RW 的 embedding resizing 的 GPT-2 124M 训练案例，然后检查生成的 token ID、词汇表边界、仅包含零的输出、对数概率和 actor loss。比较不进行 resizing 的相同训练。完成标准是确定与 resizing 相关的原因，并验证训练行为不会产生无效 token ID 或 NaN loss。

由索引模型根据 Issue 内容生成。

描述

The model I use is GPT-2 124M. When resizing model embeddings during the training of STF and RW, I often encounter issues where the generated answers consist entirely of zeros. This causes both the log probabilities and actor loss to become NaN (Not a Number). I have noticed that resizing the embeddings can lead to the generation of token IDs that exceed the vocabulary size. I suspect this may be contributing to the problem. However, when I don't resize the model's embeddings and train STF and RW, I do not experience this issue during RLHF training. I don't know why.

主要语言
Python
星标
6.8k
派生
1.1k
平均合并
2 天 16 小时
30 天内合并 PR
1

贡献指南

这个仓库没有索引到贡献指南

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

deepspeedai/DeepSpeedExamples 的其他 Issue

查看 deepspeedai/DeepSpeedExamples 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。