Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Bug in inference mode?

Aperta
#54 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
machine-learning

Direzione di ricerca

Inizia individuando il codice di inferenza che contiene if hidden_states.shape[1] != 1: e traccia come vengono prodotti hidden_states e position_ids durante la generazione. Confronta le forme osservate con le impostazioni di generazione pertinenti, quindi documenta quale segnale identifica in modo affidabile il prefill e definisci la modifica al codice o la raccomandazione risultante.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I found that, in the code, if hidden_states.shape[1] != 1: is used to detect prefill stage.

I thought this criteria sometimes goes wrong. In my experiments, the hidden_states.shape was:

  • hidden_states.shape[1] = n: prefill
  • hidden_states.shape[1] =1: when generating the 2nd token
  • hidden_states.shape[1] =2: when generating the 3rd token
  • hidden_states.shape[1] =3: when generating the 4th token
    ...

So I have two questions:

  1. Can hidden_states.shape[1] consistently equals to 1 (instead of 1,2,3,...) after prefilling if I use some generating setting?
  2. Would position_ids[0,0] == 0 be a robuster criteria than hidden_states.shape[1] != 1 to detect prefill?
Lingua principale
Python
Stelle
530
Fork
20
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenGVLab/VideoChat-Flash

Tutte le issue di OpenGVLab/VideoChat-Flash

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.