open-compass/VLMEvalKit
Xem trên GitHubOpen-source evaluation toolkit of large multi-modality models (LMMs), support 220+ LMMs, 80+ benchmarks
- Star
- 4.4k
- Fork
- 768
- Issue cho người mới đang mở
- 4
- Issue đã lập chỉ mục
- 227
- Merge trung bình
- 1 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 20
- Ngôn ngữ chính
- Python
- Giấy phép
- Apache-2.0
- Lần push lên GitHub gần nhất
- 20/9/2026
- Lập chỉ mục gần nhất
- 19/9/2026
- Hướng dẫn đóng góp
- Không có hướng dẫn đóng góp
- Quy tắc ứng xử
- Không có quy tắc ứng xử
- Label cho người mới
- Chưa lập chỉ mục label nào cho người mới
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
open-compass/VLMEvalKit#1698 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
open-compass/VLMEvalKit#1697 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
open-compass/VLMEvalKit#1695 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
open-compass/VLMEvalKit#1690 · 3 bình luận ·
-
Structured extra_records output is discarded for the entire dataset if any single sample fails Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 78/100
open-compass/VLMEvalKit#1665 · 1 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
open-compass/VLMEvalKit#1661 · 2 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
open-compass/VLMEvalKit#1652 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 64/100
open-compass/VLMEvalKit#1632 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
open-compass/VLMEvalKit#1621 ·
-
MMMU Open-ended问题无法正确评测 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
open-compass/VLMEvalKit#1617 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
open-compass/VLMEvalKit#1615 · 1 bình luận ·
-
有些基准没有放数据url Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
open-compass/VLMEvalKit#1614 ·
-
LiveMMBench空链接 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 38/100
open-compass/VLMEvalKit#1600 ·
-
请问flyai-vl模型的评测什么时候可以支持？ Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1598 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
open-compass/VLMEvalKit#1589 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 58/100
open-compass/VLMEvalKit#1590 · 1 bình luận ·
-
Adding [BenchCAD]: would you accept execution-based image→CadQuery-code tasks (heavier deps)? Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1582 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
open-compass/VLMEvalKit#1580 ·
-
Qwen 3.5支持 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1562 · 3 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 64/100
open-compass/VLMEvalKit#1559 ·
-
Ovis2.6-80B-A3B 评测模型预计什么时候可以支持？ Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1553 ·
-
是否能发布pypi源 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
open-compass/VLMEvalKit#1537 ·
-
model：llava-1.5-7b，data：mmebench Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1529 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
open-compass/VLMEvalKit#1528 ·
-
About MMBench Evaluation Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
open-compass/VLMEvalKit#1516 · 3 bình luận · 3 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
open-compass/VLMEvalKit#1500 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 32/100
open-compass/VLMEvalKit#1498 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
open-compass/VLMEvalKit#1485 ·
-
评测MMBench数据集发现部分问题判别错误 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1480 · 2 bình luận ·
-
是否支持数据集指定索引的评测？ Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1474 ·
-
是否支持语音模型的评测 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
open-compass/VLMEvalKit#1462 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100
open-compass/VLMEvalKit#1456 · 5 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1438 · 2 bình luận · 3 reaction ·
-
自定义数据集功能，能够支持音频和视频 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1417 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1416 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1401 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1400 ·
-
screenspot 分数对齐 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1391 · 1 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
open-compass/VLMEvalKit#1390 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1389 · 3 bình luận ·
-
模型评估结果和官方公布结果不一致 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1388 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
open-compass/VLMEvalKit#1383 ·
-
如何使用提前下载好的本地数据集，在哪里能配置路径呢 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1373 · 1 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1372 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1367 · 4 bình luận ·
-
Hope to include Qwen3 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1366 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
open-compass/VLMEvalKit#1361 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
open-compass/VLMEvalKit#1337 ·
-
MMVet 数据集问题 Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 28/100
open-compass/VLMEvalKit#1336 · 1 bình luận ·
-
Qwen3-VL on ScreenSpot datasets Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100
open-compass/VLMEvalKit#1332 · 2 bình luận ·