Bug in inference mode?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza localizando el código de inferencia que contiene if hidden_states.shape[1] != 1: y rastrea cómo se generan hidden_states y position_ids durante la generación. Compara las formas observadas con las configuraciones de generación relevantes y documenta qué señal identifica de forma fiable el prefill; después, define el cambio de código o la recomendación resultante.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I found that, in the code, if hidden_states.shape[1] != 1: is used to detect prefill stage.
I thought this criteria sometimes goes wrong. In my experiments, the hidden_states.shape was:
- hidden_states.shape[1] = n: prefill
- hidden_states.shape[1] =1: when generating the 2nd token
- hidden_states.shape[1] =2: when generating the 3rd token
- hidden_states.shape[1] =3: when generating the 4th token
...
So I have two questions:
- Can hidden_states.shape[1] consistently equals to 1 (instead of 1,2,3,...) after prefilling if I use some generating setting?
- Would
position_ids[0,0] == 0be a robuster criteria thanhidden_states.shape[1] != 1to detect prefill?
- Lenguaje dominante
- Python
- Estrellas
- 530
- Forks
- 20
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenGVLab/VideoChat-Flash
-
Verify evals on Papers with CodeAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
OpenGVLab/VideoChat-Flash#75 ·
-
baseline is qwen2.5vlAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
OpenGVLab/VideoChat-Flash#72 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 15/100
OpenGVLab/VideoChat-Flash#67 · 5 comentarios ·
-
support for vLLM deploymentAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
OpenGVLab/VideoChat-Flash#66 · 1 comentario ·
-
[Q] InternVideo 2.5,, TPOAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
OpenGVLab/VideoChat-Flash#61 · 1 comentario ·
Todos los issues de OpenGVLab/VideoChat-Flash
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
qgis/QGIS-Plugins-Website#459 ·
-
bug severity:medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 2 días
-
bot-found bug priority: P3
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
madenvel/KalinkaPlayer#179 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ls1intum/edutelligence#1098 ·
Los mantenedores suelen responder en 1 día