Similarity Scores coming very low between the video and the text features.
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- jupyter-notebook, python
Línea de trabajo
Comienza con InternVideo2/multi_modality/demo_video_text_retrieval.ipynb y reproduce el flujo de recuperación de texto a vídeo usando InternVideo2-stage2_1b-224p-f4.pt. Inspecciona cómo se producen y comparan text_features y video_features, y determina después si las puntuaciones informadas son las esperadas para este conjunto de datos. Se considera terminado cuando se documente la causa de las puntuaciones bajas o se identifique un problema reproducible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi @leexinhao,
I am trying the text to video retrieval on my dataset using this https://github.com/OpenGVLab/InternVideo/blob/main/InternVideo2/multi_modality/demo_video_text_retrieval.ipynb, but the similarity scores are coming in very low between the text_features and the video_features. I am using this weight file InternVideo2-stage2_1b-224p-f4.pt and the cosine similarity I am computing by taking the dot product between the text_features and the video_features(text_features @ video_features.T).
array([0.08640765, 0.08618326, 0.08596011, 0.08578135, 0.08574679, 0.08564241, 0.08557957, 0.08552065, 0.08551717, 0.08548111], dtype=float32)
Thanks.
- Lenguaje dominante
- Python
- Estrellas
- 2.4k
- Forks
- 160
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenGVLab/InternVideo
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
OpenGVLab/InternVideo#324 · 1 comentario ·
-
InternVideo2 stage-1 weights Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
OpenGVLab/InternVideo#323 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
OpenGVLab/InternVideo#322 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
OpenGVLab/InternVideo#321 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
OpenGVLab/InternVideo#319 · 1 comentario ·
Todos los issues de OpenGVLab/InternVideo
Issues similares
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
canonical/paas-charm#368 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
tech debt
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
addition to tracking list Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
StevenBlack/hosts#3256 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
qualcomm/qai-appbuilder#275 ·