Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Request for Official MVBench Evaluation Protocol for InternVideo2_5_Chat_8B

Aperta
#310 1 commento 1 reazione 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Documentazione
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
computer-vision, machine-learning, testing-qa

Direzione di ricerca

Inizia con l’implementazione di riferimento collegata di Hugging Face per OpenGVLab/InternVideo2_5_Chat_8B e confrontala con il punteggio MVBench riportato di 75.7. Il lavoro sarà considerato completato quando sarà documentato uno script di valutazione ufficiale o una configurazione ufficiale che copra il campionamento dei frame, il preprocessing, i prompt, la decodifica e l’estrazione delle opzioni, con impostazioni per i dataset indicati quando disponibili.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi OpenGVLab Team,

Thank you for releasing InternVideo2.5.

I am trying to reproduce the official MVBench score of 75.7 reported for OpenGVLab/InternVideo2_5_Chat_8B.
I am using the HuggingFace reference implementation as a starting point:

https://huggingface.co/OpenGVLab/InternVideo2_5_Chat_8B#%F0%9F%9A%80-how-to-use-the-model

To ensure my evaluation matches yours, I would appreciate clarification on the exact protocol, including:

  • the number of frames and the frame-sampling strategy,
  • preprocessing details (input resolution, dynamic tiling, thumbnail usage),
  • the prompt template used for multiple-choice questions,
  • decoding settings and the rule for extracting the predicted option.

Most importantly, could you share the official evaluation script or configuration used to obtain the reported 75.7 score?
If available, reference evaluation settings for other datasets (LongVideoBench, VideoMME, EgoSchema, Perception Test, LVBench) would also be very helpful.

Thank you in advance!

~Sergey

Lingua principale
Python
Stelle
2.4k
Fork
160
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenGVLab/InternVideo

Tutte le issue di OpenGVLab/InternVideo

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.