Problems about Inference on Video-MME
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- bash, python
- Lĩnh vực
- documentation, machine-learning
Hướng nghiên cứu
Start with README evaluation instructions and scripts/eval/eval_ov_encoder.sh, focusing on how MODEL_PATH is selected for the VideoMME task. Check the repository and referenced Hugging Face organizations for the expected checkpoint. Done means the documentation or script clearly identifies an available LLaVA-integrated checkpoint, or explicitly explains that it is not released.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Brilliant work on OneVision-Encoder! 🎉
I'm trying to reproduce the LLaVA-NeXT-Video evaluation results following the instructions in the README.
For video benchmarks (e.g., VideoMME), I ran:
TASKS="videomme" bash scripts/eval/eval_ov_encoder.sh
However, I noticed this line in the script:
MODEL_PATH="${MODEL_PATH:-trained_model/must_contain_llava_in_name}"
I've searched through the repository and the Hugging Face organization (lmms-lab-encoder / lmms-lab), but I couldn't find a released model checkpoint whose name contains "llava".
❓ Could you clarify:
Am I misunderstanding the evaluation workflow?
Or is the LLaVA-integrated checkpoint not yet publicly released?
Any guidance would be greatly appreciated! Thanks again for the amazing work. 🙏
- Ngôn ngữ chính
- Python
- Star
- 403
- Fork
- 20
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của EvolvingLMMs-Lab/OneVision-Encoder
-
Question Regarding the paperĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 20/100
-
Verify evals on Papers with CodeĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
EvolvingLMMs-Lab/OneVision-Encoder#116 · 1 bình luận ·
Tất cả issue của EvolvingLMMs-Lab/OneVision-Encoder
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
MystenLabs/MemWal#1163 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
infertopics leaves new nodes without a topic when untopiced neighbours outnumber topiced onesCó thể đã có người làm @moneebullah25 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
FinanceFlash/unvibecode#218 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
NVIDIA/earth2studio#1241 ·
Maintainer thường phản hồi trong vòng 3 ngày