Potential DOVER ONNX Output-Order Mismatch
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 72/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- python
调研方向
阅读 evaluation/models/dover/convert_to_onnx.py 和 evaluation/models/dover/onnx_inference.py,然后检查 fuse_results() 预期的校准顺序。验证每个 ONNX 输出代表哪个分数,以及推理是否按预期顺序传入这些输出。输出和融合输入使用相同顺序,且结果分数计算经过验证后,即完成此项工作。
由索引模型根据 Issue 内容生成。
描述
Hi MOVA team, thanks for sharing your work!
I noticed a potential output-order mismatch in the DOVER ONNX evaluation scripts:
-
convert_to_onnx.pyreturns the aesthetic score first:return [aesthetic_score_pooled, technical_score_pooled] -
onnx_inference.pypasses these outputs directly tofuse_results():scores = [np.mean(s) for s in predictions] fuse_results(scores)
However, fuse_results() expects technical first, aesthetic second, based on its calibration parameters. This could result in incorrect normalization and fusion weights.
A possible fix is to swap the outputs before fusion:
aes_score, tech_score = [np.mean(s) for s in predictions]
overall_score = fuse_results([tech_score, aes_score])
Alternatively, the export script could return the technical score first, followed by regenerating the ONNX model.
A similar issue was discussed in upstream DOVER issue #25.
Thanks!
- 主要语言
- Python
- 星标
- 1.1k
- 派生
- 97
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南,环境需要你自己搭建:先看它的 README,通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
OpenMOSS/MOVA 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 48/100
-
难度 4/5 3-5 天 新手友好度 38/100
-
难度 3/5 1-2 天 新手友好度 48/100
-
难度 5/5 一周以上 新手友好度 25/100
-
难度 3/5 1-2 天 新手友好度 65/100
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 82/100
volcengine/OpenViking#6445 ·
维护者通常 1 天内回复
-
BUG:Edit Album strips spaces from the password so albums with a leading/trailing space in the password can't be edited可能已有人在做 @ManyaJain111 今天认领。 未关闭bug enhancement possible-duplicate
难度 2/5 1-3 小时 新手友好度 77/100
AOSSIE-Org/PictoPy#1637 · 4 条评论 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
deepspeedai/DeepSpeed#8884 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
flagos-ai/FlagQuantum#718 ·
维护者通常 1 天内回复
-
bug CI-failure high priority
难度 1/5 1 小时以内 新手友好度 86/100
vllm-project/afd-plugin#483 ·
维护者通常 1 天内回复