open-compass/VLMEvalKit

Voir sur GitHub

Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ LMMs, 80+ benchmarks

Étoiles: 4.4k
Forks: 768
Issues débutants ouvertes: 4
Issues indexées: 227
Merge moyen: 1 j 20 h
PR mergées (30 j): 20

Langage dominant: Python
Licence: Apache-2.0
Dernier push GitHub: 20/9/2026
Dernière indexation: 19/9/2026
Guide de contribution: Aucun guide de contribution
Code de conduite: Aucun code de conduite
Labels débutants: Aucun label débutant indexé

Accessible aux débutants Tout

Ouverte Toutes

225 issues ouvertes indexées

videommu: open-ended predictions corrupted by xlsx round-trip, silently zeroed or crash Ouverte

Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100

open-compass/VLMEvalKit#1698 · Ouverte le 21/9/2026
cal_scores: compute_mcq_score scores unparseable GT+prediction as correct (False == False yields 1.0) Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 78/100

open-compass/VLMEvalKit#1697 · Ouverte le 21/9/2026
SArena: LPIPS and SSIM keys swapped in report_primary_metric, inverting the composite score Ouverte

Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100

open-compass/VLMEvalKit#1695 · Ouverte le 21/9/2026
olmOCRBench: `evaluate()` returns `None`, so the score never reaches `status.json` Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 78/100

open-compass/VLMEvalKit#1690 · 3 commentaires · Ouverte le 16/9/2026
Structured extra_records output is discarded for the entire dataset if any single sample fails Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 78/100

open-compass/VLMEvalKit#1665 · 1 commentaire · Ouverte le 1/9/2026
OpenAI-compat: GPT4V api_base is the full /v1/chat/completions URL, not /v1 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

open-compass/VLMEvalKit#1661 · 2 commentaires · Ouverte le 28/8/2026
Interop idea: a VLMEvalKit-openeval-adapter for portable eval results Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

open-compass/VLMEvalKit#1652 · Ouverte le 23/8/2026
Add Pluto-AI-Labs/Apollo-VL-Edge-3B to Leaderboard Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 64/100

open-compass/VLMEvalKit#1632 · Ouverte le 14/8/2026
Qwen2.5-VL-7B模型，对评测集LogicVista，从推理结果中提取答案错误，导致误判 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 48/100

open-compass/VLMEvalKit#1621 · Ouverte le 6/8/2026
MMMU Open-ended问题无法正确评测 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

open-compass/VLMEvalKit#1617 · Ouverte le 4/8/2026
OpenVLM: one-decimal Overall makes the board un-checkable, and hides that 8 boards' #1 leads are under 1.2 sigma Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 55/100

open-compass/VLMEvalKit#1615 · 1 commentaire · Ouverte le 1/8/2026
有些基准没有放数据url Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 48/100

open-compass/VLMEvalKit#1614 · Ouverte le 31/7/2026
LiveMMBench空链接 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 38/100

open-compass/VLMEvalKit#1600 · Ouverte le 16/7/2026
请问flyai-vl模型的评测什么时候可以支持？ Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1598 · Ouverte le 7/7/2026
[Bug] run.py: LOCAL_RANK defaults to 1 instead of 0 Ouverte

Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100

open-compass/VLMEvalKit#1589 · 1 commentaire · Ouverte le 28/6/2026
[Bug] Thyme: sandbox image fed in assistant turn + KV-cache reused across re-encoded turns corrupts multi-round vision context Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 58/100

open-compass/VLMEvalKit#1590 · 1 commentaire · Ouverte le 28/6/2026
Adding [BenchCAD]: would you accept execution-based image→CadQuery-code tasks (heavier deps)? Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

open-compass/VLMEvalKit#1582 · Ouverte le 25/6/2026
[Bug] CharXiv_descriptive_val DATASET_MD5 appears to be incorrect after #1555 Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 78/100

open-compass/VLMEvalKit#1580 · Ouverte le 23/6/2026
Qwen 3.5支持 Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

open-compass/VLMEvalKit#1562 · 3 réactions · Ouverte le 1/6/2026
SEEDBench_IMG & MMStar: option text "None" parsed as NaN by pandas Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 64/100

open-compass/VLMEvalKit#1559 · Ouverte le 28/5/2026
Ovis2.6-80B-A3B 评测模型预计什么时候可以支持？ Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1553 · Ouverte le 25/5/2026
是否能发布pypi源 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 55/100

open-compass/VLMEvalKit#1537 · Ouverte le 8/5/2026
model：llava-1.5-7b，data：mmebench Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1529 · Ouverte le 27/4/2026
Confirm whether Polygon3 is still required Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 68/100

open-compass/VLMEvalKit#1528 · Ouverte le 27/4/2026
About MMBench Evaluation Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

open-compass/VLMEvalKit#1516 · 3 commentaires · 3 réactions · Ouverte le 16/4/2026
How to evaluate my fine-tuned Qwen-VL model on a locally downloaded dataset? Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

open-compass/VLMEvalKit#1500 · Ouverte le 28/3/2026
The tsv file is in {data_root}, but the md5 does not match, will re-download in MathCanvas Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 32/100

open-compass/VLMEvalKit#1498 · Ouverte le 25/3/2026
3DSRBench和SiteBenchImage两个数据集评测的bug麻烦修复下，修复方式文中给出。 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 55/100

open-compass/VLMEvalKit#1485 · Ouverte le 17/3/2026
评测MMBench数据集发现部分问题判别错误 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1480 · 2 commentaires · Ouverte le 11/3/2026
是否支持数据集指定索引的评测？ Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1474 · Ouverte le 9/3/2026
是否支持语音模型的评测 Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

open-compass/VLMEvalKit#1462 · Ouverte le 3/3/2026
【OmniDocBench】Recommend updating the benchmark version Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

open-compass/VLMEvalKit#1456 · 5 commentaires · Ouverte le 26/2/2026
Suggest to integrate the BabyVision dataset Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1438 · 2 commentaires · 3 réactions · Ouverte le 6/2/2026
自定义数据集功能，能够支持音频和视频 Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

open-compass/VLMEvalKit#1417 · Ouverte le 27/1/2026
Qwen2.5-VL-3B model evaluating BLINK, and it reported an OOM error: Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1416 · Ouverte le 25/1/2026
evaluate Video-MME_1fps on SmolVLM got cuda OOM error Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1401 · Ouverte le 12/1/2026
[MMSIBench] OSError: image file is truncated Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1400 · Ouverte le 10/1/2026
screenspot 分数对齐 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1391 · 1 commentaire · Ouverte le 30/12/2025
Video Holmes llm judge is not used in evaluation? Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

open-compass/VLMEvalKit#1390 · Ouverte le 30/12/2025
Qwen3-VL-4B-Instruct模型评估ocrbench结果和官方公布结果不一致 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1389 · 3 commentaires · Ouverte le 30/12/2025
模型评估结果和官方公布结果不一致 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1388 · Ouverte le 29/12/2025
我的环境现在只支持我要使用的模型，但VLMEvalKit 在导入时尝试加载所有模型的依赖 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

open-compass/VLMEvalKit#1383 · Ouverte le 27/12/2025
如何使用提前下载好的本地数据集，在哪里能配置路径呢 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1373 · 1 commentaire · Ouverte le 24/12/2025
Update evaluation records of InternVL3 Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1372 · Ouverte le 24/12/2025
Reproducibility of deepseek-vl inference results Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

open-compass/VLMEvalKit#1367 · 4 commentaires · Ouverte le 19/12/2025
Hope to include Qwen3 Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

open-compass/VLMEvalKit#1366 · 1 commentaire · Ouverte le 18/12/2025
How can I use VLMEvalKit to test the DeepSeek-OCR model and obtain its accuracy score on OmniDocBench? Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

open-compass/VLMEvalKit#1361 · 1 commentaire · Ouverte le 16/12/2025
Hope to open slack for everyone to communicate Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

open-compass/VLMEvalKit#1337 · Ouverte le 3/12/2025
MMVet 数据集问题 Ouverte

Difficulté 1/5 Moins d'une heure Accessibilité débutants 28/100

open-compass/VLMEvalKit#1336 · 1 commentaire · Ouverte le 2/12/2025
Qwen3-VL on ScreenSpot datasets Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 42/100

open-compass/VLMEvalKit#1332 · 2 commentaires · Ouverte le 28/11/2025

open-compass/VLMEvalKit

Recevez les nouvelles issues par e-mail