Request for Official MVBench Evaluation Protocol for InternVideo2_5_Chat_8B
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- ドキュメント
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
OpenGVLab/InternVideo2_5_Chat_8B向けにリンクされているHugging Faceのリファレンス実装から始め、報告されているMVBenchスコア75.7と比較してください。フレームサンプリング、前処理、プロンプト、デコード、選択肢の抽出を網羅する公式の評価スクリプトまたは設定が文書化され、利用可能な場合は指定されたデータセット向けの設定も含まれていれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi OpenGVLab Team,
Thank you for releasing InternVideo2.5.
I am trying to reproduce the official MVBench score of 75.7 reported for OpenGVLab/InternVideo2_5_Chat_8B.
I am using the HuggingFace reference implementation as a starting point:
https://huggingface.co/OpenGVLab/InternVideo2_5_Chat_8B#%F0%9F%9A%80-how-to-use-the-model
To ensure my evaluation matches yours, I would appreciate clarification on the exact protocol, including:
- the number of frames and the frame-sampling strategy,
- preprocessing details (input resolution, dynamic tiling, thumbnail usage),
- the prompt template used for multiple-choice questions,
- decoding settings and the rule for extracting the predicted option.
Most importantly, could you share the official evaluation script or configuration used to obtain the reported 75.7 score?
If available, reference evaluation settings for other datasets (LongVideoBench, VideoMME, EgoSchema, Perception Test, LVBench) would also be very helpful.
Thank you in advance!
~Sergey
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 160
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenGVLab/InternVideo のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#324 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
OpenGVLab/InternVideo#323 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#322 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
OpenGVLab/InternVideo#321 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
OpenGVLab/InternVideo#319 · コメント 1 件 ·
OpenGVLab/InternVideo の issue をすべて見る
似ている issue
-
essnmx good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
-
[Feature] 奇物选择添加优先级 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
syfoud/Simulated_Scepter#174 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Giskard-AI/giskard-oss#2840 · コメント 1 件 ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success オープンarea: repo bug perceived difficulty: 2
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
yeti-platform/yeti#1380 ·