Potential DOVER ONNX Output-Order Mismatch
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 72/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning, testing-qa
Línea de trabajo
Lee evaluation/models/dover/convert_to_onnx.py y evaluation/models/dover/onnx_inference.py; después, comprueba el orden de calibración que espera fuse_results(). Verifica qué puntuación representa cada salida ONNX y si la inferencia las pasa en el orden esperado. El trabajo estará terminado cuando las salidas y las entradas de la fusión usen el mismo orden y se haya validado el cálculo de la puntuación resultante.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi MOVA team, thanks for sharing your work!
I noticed a potential output-order mismatch in the DOVER ONNX evaluation scripts:
-
convert_to_onnx.pyreturns the aesthetic score first:return [aesthetic_score_pooled, technical_score_pooled] -
onnx_inference.pypasses these outputs directly tofuse_results():scores = [np.mean(s) for s in predictions] fuse_results(scores)
However, fuse_results() expects technical first, aesthetic second, based on its calibration parameters. This could result in incorrect normalization and fusion weights.
A possible fix is to swap the outputs before fusion:
aes_score, tech_score = [np.mean(s) for s in predictions]
overall_score = fuse_results([tech_score, aes_score])
Alternatively, the export script could return the technical score first, followed by regenerating the ONNX model.
A similar issue was discussed in upstream DOVER issue #25.
Thanks!
- Lenguaje dominante
- Python
- Estrellas
- 1.1k
- Forks
- 95
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenMOSS/MOVA
-
Verify evals on Papers with CodeAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
-
两个角色的时候，会出现对白混乱的情况，请问有什么策略可优化Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
Todos los issues de OpenMOSS/MOVA
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ansys/pyansys-common-mcp#213 ·
Los mantenedores suelen responder en 3 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
freedomofpress/dangerzone#1594 ·
Los mantenedores suelen responder en 3 días
-
priority:P1 status:in-review type:bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
randomparity/kdive#3317 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
area:ci
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
mesonbuild/meson#16281 ·
Los mantenedores suelen responder en 1 día