Hacktoberfest 2026：维护者为十月标记出来的 issue，仍然开放、适合新手。 浏览 Hacktoberfest issue

Bug in inference mode?

未关闭
  • 哪里不对？
#54 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
5/5
预计耗时
一周以上
新手友好度
25/100
Issue 类型
缺陷
描述清晰度
需要澄清
活跃度
停滞
技术栈
python
领域
machine-learning

调研方向

首先定位包含 if hidden_states.shape[1] != 1: 的推理代码，并跟踪生成过程中 hidden_states 和 position_ids 的产生方式。比较相关生成设置下观察到的形状，然后记录哪个信号能够可靠地识别 prefill，并定义由此产生的代码更改或建议。

由索引模型根据 Issue 内容生成。

描述

I found that, in the code, if hidden_states.shape[1] != 1: is used to detect prefill stage.

I thought this criteria sometimes goes wrong. In my experiments, the hidden_states.shape was:

  • hidden_states.shape[1] = n: prefill
  • hidden_states.shape[1] =1: when generating the 2nd token
  • hidden_states.shape[1] =2: when generating the 3rd token
  • hidden_states.shape[1] =3: when generating the 4th token
    ...

So I have two questions:

  1. Can hidden_states.shape[1] consistently equals to 1 (instead of 1,2,3,...) after prefilling if I use some generating setting?
  2. Would position_ids[0,0] == 0 be a robuster criteria than hidden_states.shape[1] != 1 to detect prefill?
主要语言
Python
星标
531
派生
21
30 天内没有已合并 PR

环境准备

这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

OpenGVLab/VideoChat-Flash 的其他 Issue

查看 OpenGVLab/VideoChat-Flash 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。