Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Request for Official MVBench Evaluation Protocol for InternVideo2_5_Chat_8B

Đang mở
#310 1 bình luận 1 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Tài liệu
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
computer-vision, machine-learning, testing-qa

Hướng nghiên cứu

Bắt đầu với triển khai tham chiếu Hugging Face được liên kết cho OpenGVLab/InternVideo2_5_Chat_8B và so sánh với điểm MVBench được báo cáo là 75.7. Công việc được xem là hoàn tất khi có script đánh giá chính thức hoặc cấu hình chính thức được tài liệu hóa, bao quát việc lấy mẫu frame, tiền xử lý, prompt, giải mã và trích xuất các lựa chọn, cùng với các thiết lập cho những dataset được nêu tên nếu có.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi OpenGVLab Team,

Thank you for releasing InternVideo2.5.

I am trying to reproduce the official MVBench score of 75.7 reported for OpenGVLab/InternVideo2_5_Chat_8B.
I am using the HuggingFace reference implementation as a starting point:

https://huggingface.co/OpenGVLab/InternVideo2_5_Chat_8B#%F0%9F%9A%80-how-to-use-the-model

To ensure my evaluation matches yours, I would appreciate clarification on the exact protocol, including:

  • the number of frames and the frame-sampling strategy,
  • preprocessing details (input resolution, dynamic tiling, thumbnail usage),
  • the prompt template used for multiple-choice questions,
  • decoding settings and the rule for extracting the predicted option.

Most importantly, could you share the official evaluation script or configuration used to obtain the reported 75.7 score?
If available, reference evaluation settings for other datasets (LongVideoBench, VideoMME, EgoSchema, Perception Test, LVBench) would also be very helpful.

Thank you in advance!

~Sergey

Ngôn ngữ chính
Python
Star
2.4k
Fork
160
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenGVLab/InternVideo

Tất cả issue của OpenGVLab/InternVideo

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.