Failed to reproduce mova-360p’s LSE-C and LSE-D metrics on Verse-Bench
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- huggingface, python
- Lĩnh vực
- machine-learning, testing-qa
Hướng nghiên cứu
Bắt đầu với dataset Verse-Bench trên Hugging Face, repository GitHub và các thiết lập của bản demo mã văn phòng được sử dụng cho suy luận video. So sánh các bước chuẩn bị, suy luận và đánh giá LSE-C/LSE-D với các kết quả được báo cáo trong paper và các trường hợp set3 đã tải lên; được xem là hoàn tất khi xác định được nguồn gốc của sai lệch hoặc giải thích được tại sao không thể tái tạo các metric đã báo cáo.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi,
I tried to reproduce mova-360p’s LSE-C and LSE-D metrics on Verse-Bench, but ran into some issues. I followed the instructions in Verse-Bench (Hugging Face dataset) and Verse-Bench (GitHub repo) to prepare the test data and run the evaluation. For video inference, I used the same settings as the office code demo.
However, my average LSE-C is 5.41 and the average LSE-D is 13.303, which are much worse than the numbers reported in the paper. When I visualized the generated videos, they didn’t look obviously strange.
I uploaded the first two inference results from set3 here:
Google Drive link
In my tests:
- For case0: LSE-C = 4.4768114, LSE-D = 12.80221240751205
- For case-1: LSE-C = 6.9611187, LSE-D = 13.244998070501513
I’m not sure what might be causing this discrepancy.
- Ngôn ngữ chính
- Python
- Star
- 1.1k
- Fork
- 97
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenMOSS/MOVA
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Verify evals on Papers with CodeĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
-
两个角色的时候，会出现对白混乱的情况，请问有什么策略可优化Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của OpenMOSS/MOVA
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
aws-samples/sample-per-model-bedrock#464 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
lesson-submission pending-review
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Ikalus1988/MisakaNet#3789 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Python Volcengine provider returns failures instead of raising themCó thể đã có người làm @Ricardo-M-L đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
agent-infra/sandbox#248 ·
-
[Bug] cloud JSON directory loading assumes a Key field in fsspec listingsCó thể đã có người làm @Ricardo-M-L đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
hiyouga/LlamaFactory#10910 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bundled uv is never updated and trusts the compromised eMudhra certificatesCó thể đã có người làm @FabienDanieau đã nhận hôm nay. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100