Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Failed to reproduce mova-360p’s LSE-C and LSE-D metrics on Verse-Bench

Đang mở
  • Có gì không ổn?
#40 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
huggingface, python
Lĩnh vực
machine-learning, testing-qa

Hướng nghiên cứu

Bắt đầu với dataset Verse-Bench trên Hugging Face, repository GitHub và các thiết lập của bản demo mã văn phòng được sử dụng cho suy luận video. So sánh các bước chuẩn bị, suy luận và đánh giá LSE-C/LSE-D với các kết quả được báo cáo trong paper và các trường hợp set3 đã tải lên; được xem là hoàn tất khi xác định được nguồn gốc của sai lệch hoặc giải thích được tại sao không thể tái tạo các metric đã báo cáo.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi,

I tried to reproduce mova-360p’s LSE-C and LSE-D metrics on Verse-Bench, but ran into some issues. I followed the instructions in Verse-Bench (Hugging Face dataset) and Verse-Bench (GitHub repo) to prepare the test data and run the evaluation. For video inference, I used the same settings as the office code demo.

However, my average LSE-C is 5.41 and the average LSE-D is 13.303, which are much worse than the numbers reported in the paper. When I visualized the generated videos, they didn’t look obviously strange.

I uploaded the first two inference results from set3 here:
Google Drive link

In my tests:

  • For case0: LSE-C = 4.4768114, LSE-D = 12.80221240751205
  • For case-1: LSE-C = 6.9611187, LSE-D = 13.244998070501513

I’m not sure what might be causing this discrepancy.

Ngôn ngữ chính
Python
Star
1.1k
Fork
97
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenMOSS/MOVA

Tất cả issue của OpenMOSS/MOVA

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.