Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Bug in inference mode?

オープン
#54 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
python
領域
machine-learning

調査の方向性

まず、if hidden_states.shape[1] != 1: を含む推論コードを見つけ、生成中に hidden_states と position_ids がどのように生成されるかを追跡します。関連する生成設定で観測された形状を比較し、どのシグナルが prefill を確実に識別するかを文書化したうえで、それによって得られるコード変更または推奨事項を定義します。

索引モデルが issue の本文から書いたものです。

説明

I found that, in the code, if hidden_states.shape[1] != 1: is used to detect prefill stage.

I thought this criteria sometimes goes wrong. In my experiments, the hidden_states.shape was:

  • hidden_states.shape[1] = n: prefill
  • hidden_states.shape[1] =1: when generating the 2nd token
  • hidden_states.shape[1] =2: when generating the 3rd token
  • hidden_states.shape[1] =3: when generating the 4th token
    ...

So I have two questions:

  1. Can hidden_states.shape[1] consistently equals to 1 (instead of 1,2,3,...) after prefilling if I use some generating setting?
  2. Would position_ids[0,0] == 0 be a robuster criteria than hidden_states.shape[1] != 1 to detect prefill?
主要言語
Python
スター
530
フォーク
20
30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

OpenGVLab/VideoChat-Flash のほかの issue

OpenGVLab/VideoChat-Flash の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。