Potential DOVER ONNX Output-Order Mismatch
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 72/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
evaluation/models/dover/convert_to_onnx.py と evaluation/models/dover/onnx_inference.py を読み、次に fuse_results() が想定するキャリブレーションの順序を確認してください。各 ONNX 出力がどのスコアを表すのか、また推論がそれらを想定どおりの順序で渡しているかを検証してください。出力と融合への入力が同じ順序を使い、結果のスコア計算が検証されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi MOVA team, thanks for sharing your work!
I noticed a potential output-order mismatch in the DOVER ONNX evaluation scripts:
-
convert_to_onnx.pyreturns the aesthetic score first:return [aesthetic_score_pooled, technical_score_pooled] -
onnx_inference.pypasses these outputs directly tofuse_results():scores = [np.mean(s) for s in predictions] fuse_results(scores)
However, fuse_results() expects technical first, aesthetic second, based on its calibration parameters. This could result in incorrect normalization and fusion weights.
A possible fix is to swap the outputs before fusion:
aes_score, tech_score = [np.mean(s) for s in predictions]
overall_score = fuse_results([tech_score, aes_score])
Alternatively, the export script could return the technical score first, followed by regenerating the ONNX model.
A similar issue was discussed in upstream DOVER issue #25.
Thanks!
- 主要言語
- Python
- スター
- 1.1k
- フォーク
- 97
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenMOSS/MOVA のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 48/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 48/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
似ている issue
-
[oblt-aw][autodoc] Update workflow docs for gh-aw v0.92.5 and detector permission scope対応中かも @github-actions が今日担当しました。 オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
roadmap-100
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
comp/tools P2 tool/browser tool/file type/bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
NousResearch/hermes-agent#143418 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
python-hyper/uritemplate#164 ·