Failed to reproduce mova-360p’s LSE-C and LSE-D metrics on Verse-Bench
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- huggingface, python
- Área
- machine-learning, testing-qa
Línea de trabajo
Comienza con el conjunto de datos Verse-Bench de Hugging Face, el repositorio de GitHub y la configuración de la demo de código de oficina utilizada para la inferencia de vídeo. Compara los pasos de preparación, inferencia y evaluación de LSE-C/LSE-D con los resultados publicados en el paper y los casos set3 subidos; se considera completado cuando se identifica el origen de la discrepancia o se explica por qué no se pueden reproducir las métricas publicadas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi,
I tried to reproduce mova-360p’s LSE-C and LSE-D metrics on Verse-Bench, but ran into some issues. I followed the instructions in Verse-Bench (Hugging Face dataset) and Verse-Bench (GitHub repo) to prepare the test data and run the evaluation. For video inference, I used the same settings as the office code demo.
However, my average LSE-C is 5.41 and the average LSE-D is 13.303, which are much worse than the numbers reported in the paper. When I visualized the generated videos, they didn’t look obviously strange.
I uploaded the first two inference results from set3 here:
Google Drive link
In my tests:
- For case0: LSE-C = 4.4768114, LSE-D = 12.80221240751205
- For case-1: LSE-C = 6.9611187, LSE-D = 13.244998070501513
I’m not sure what might be causing this discrepancy.
- Lenguaje dominante
- Python
- Estrellas
- 1.1k
- Forks
- 97
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenMOSS/MOVA
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Verify evals on Papers with CodeAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
-
两个角色的时候，会出现对白混乱的情况，请问有什么策略可优化Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de OpenMOSS/MOVA
Issues similares
-
Project submission:Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
slavakurilyak/awesome-ai-agents#845 ·
Los mantenedores suelen responder en 1 día
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directoryPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertodifficulty:2 enhancement good first issue
Dificultad 1/5 1-3 horas Aptitud para principiantes 92/100
MakazhanAlpamys/Soup#2178 ·
Los mantenedores suelen responder en 1 día
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-valuesAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
scverse/rapids-singlecell#854 ·
Los mantenedores suelen responder en 1 día
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGLPosiblemente ocupada @ninglinLiu la tomó hoy. Abiertoarea:frontend backend:slang bug direction:input
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
random_elements(unique=True) on an OrderedDict: ZeroDivisionError once only zero weights remain, AssertionError with use_weighting=FalsePosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 13 días