open-compass/VLMEvalKit

Ver no GitHub

Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ LMMs, 80+ benchmarks

Estrelas: 4.4k
Forks: 768
Issues abertas para iniciantes: 4
Issues indexadas: 227
Merge médio: 1d 20h
PRs com merge (30d): 20

Linguagem predominante: Python
Licença: Apache-2.0
Último push no GitHub: 20/9/2026
Última indexação: 19/9/2026
Guia de contribuição: Sem guia de contribuição
Código de conduta: Sem código de conduta
Labels para iniciantes: Nenhum label para iniciantes indexado

Para iniciantes Tudo

Abertas Todas

225 issues abertas indexadas

videommu: open-ended predictions corrupted by xlsx round-trip, silently zeroed or crash Aberta

Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 90/100

open-compass/VLMEvalKit#1698 · Aberta em 21/9/2026
cal_scores: compute_mcq_score scores unparseable GT+prediction as correct (False == False yields 1.0) Aberta

Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100

open-compass/VLMEvalKit#1697 · Aberta em 21/9/2026
SArena: LPIPS and SSIM keys swapped in report_primary_metric, inverting the composite score Aberta

Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 92/100

open-compass/VLMEvalKit#1695 · Aberta em 21/9/2026
olmOCRBench: `evaluate()` returns `None`, so the score never reaches `status.json` Aberta

Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100

open-compass/VLMEvalKit#1690 · 3 comentários · Aberta em 16/9/2026
Structured extra_records output is discarded for the entire dataset if any single sample fails Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 78/100

open-compass/VLMEvalKit#1665 · 1 comentário · Aberta em 1/9/2026
OpenAI-compat: GPT4V api_base is the full /v1/chat/completions URL, not /v1 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100

open-compass/VLMEvalKit#1661 · 2 comentários · Aberta em 28/8/2026
Interop idea: a VLMEvalKit-openeval-adapter for portable eval results Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

open-compass/VLMEvalKit#1652 · Aberta em 23/8/2026
Add Pluto-AI-Labs/Apollo-VL-Edge-3B to Leaderboard Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 64/100

open-compass/VLMEvalKit#1632 · Aberta em 14/8/2026
Qwen2.5-VL-7B模型，对评测集LogicVista，从推理结果中提取答案错误，导致误判 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 48/100

open-compass/VLMEvalKit#1621 · Aberta em 6/8/2026
MMMU Open-ended问题无法正确评测 Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

open-compass/VLMEvalKit#1617 · Aberta em 4/8/2026
OpenVLM: one-decimal Overall makes the board un-checkable, and hides that 8 boards' #1 leads are under 1.2 sigma Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100

open-compass/VLMEvalKit#1615 · 1 comentário · Aberta em 1/8/2026
有些基准没有放数据url Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 48/100

open-compass/VLMEvalKit#1614 · Aberta em 31/7/2026
LiveMMBench空链接 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 38/100

open-compass/VLMEvalKit#1600 · Aberta em 16/7/2026
请问flyai-vl模型的评测什么时候可以支持？ Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1598 · Aberta em 7/7/2026
[Bug] run.py: LOCAL_RANK defaults to 1 instead of 0 Aberta

Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 78/100

open-compass/VLMEvalKit#1589 · 1 comentário · Aberta em 28/6/2026
[Bug] Thyme: sandbox image fed in assistant turn + KV-cache reused across re-encoded turns corrupts multi-round vision context Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 58/100

open-compass/VLMEvalKit#1590 · 1 comentário · Aberta em 28/6/2026
Adding [BenchCAD]: would you accept execution-based image→CadQuery-code tasks (heavier deps)? Aberta

Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1582 · Aberta em 25/6/2026
[Bug] CharXiv_descriptive_val DATASET_MD5 appears to be incorrect after #1555 Aberta

Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100

open-compass/VLMEvalKit#1580 · Aberta em 23/6/2026
Qwen 3.5支持 Aberta

Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1562 · 3 reações · Aberta em 1/6/2026
SEEDBench_IMG & MMStar: option text "None" parsed as NaN by pandas Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 64/100

open-compass/VLMEvalKit#1559 · Aberta em 28/5/2026
Ovis2.6-80B-A3B 评测模型预计什么时候可以支持？ Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1553 · Aberta em 25/5/2026
是否能发布pypi源 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100

open-compass/VLMEvalKit#1537 · Aberta em 8/5/2026
model：llava-1.5-7b，data：mmebench Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1529 · Aberta em 27/4/2026
Confirm whether Polygon3 is still required Aberta

Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100

open-compass/VLMEvalKit#1528 · Aberta em 27/4/2026
About MMBench Evaluation Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100

open-compass/VLMEvalKit#1516 · 3 comentários · 3 reações · Aberta em 16/4/2026
How to evaluate my fine-tuned Qwen-VL model on a locally downloaded dataset? Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100

open-compass/VLMEvalKit#1500 · Aberta em 28/3/2026
The tsv file is in {data_root}, but the md5 does not match, will re-download in MathCanvas Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 32/100

open-compass/VLMEvalKit#1498 · Aberta em 25/3/2026
3DSRBench和SiteBenchImage两个数据集评测的bug麻烦修复下，修复方式文中给出。 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100

open-compass/VLMEvalKit#1485 · Aberta em 17/3/2026
评测MMBench数据集发现部分问题判别错误 Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1480 · 2 comentários · Aberta em 11/3/2026
是否支持数据集指定索引的评测？ Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1474 · Aberta em 9/3/2026
是否支持语音模型的评测 Aberta

Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100

open-compass/VLMEvalKit#1462 · Aberta em 3/3/2026
【OmniDocBench】Recommend updating the benchmark version Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 42/100

open-compass/VLMEvalKit#1456 · 5 comentários · Aberta em 26/2/2026
Suggest to integrate the BabyVision dataset Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1438 · 2 comentários · 3 reações · Aberta em 6/2/2026
自定义数据集功能，能够支持音频和视频 Aberta

Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1417 · Aberta em 27/1/2026
Qwen2.5-VL-3B model evaluating BLINK, and it reported an OOM error: Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1416 · Aberta em 25/1/2026
evaluate Video-MME_1fps on SmolVLM got cuda OOM error Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1401 · Aberta em 12/1/2026
[MMSIBench] OSError: image file is truncated Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1400 · Aberta em 10/1/2026
screenspot 分数对齐 Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1391 · 1 comentário · Aberta em 30/12/2025
Video Holmes llm judge is not used in evaluation? Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100

open-compass/VLMEvalKit#1390 · Aberta em 30/12/2025
Qwen3-VL-4B-Instruct模型评估ocrbench结果和官方公布结果不一致 Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1389 · 3 comentários · Aberta em 30/12/2025
模型评估结果和官方公布结果不一致 Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1388 · Aberta em 29/12/2025
我的环境现在只支持我要使用的模型，但VLMEvalKit 在导入时尝试加载所有模型的依赖 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100

open-compass/VLMEvalKit#1383 · Aberta em 27/12/2025
如何使用提前下载好的本地数据集，在哪里能配置路径呢 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1373 · 1 comentário · Aberta em 24/12/2025
Update evaluation records of InternVL3 Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1372 · Aberta em 24/12/2025
Reproducibility of deepseek-vl inference results Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1367 · 4 comentários · Aberta em 19/12/2025
Hope to include Qwen3 Aberta

Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1366 · 1 comentário · Aberta em 18/12/2025
How can I use VLMEvalKit to test the DeepSeek-OCR model and obtain its accuracy score on OmniDocBench? Aberta

Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100

open-compass/VLMEvalKit#1361 · 1 comentário · Aberta em 16/12/2025
Hope to open slack for everyone to communicate Aberta

Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

open-compass/VLMEvalKit#1337 · Aberta em 3/12/2025
MMVet 数据集问题 Aberta

Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 28/100

open-compass/VLMEvalKit#1336 · 1 comentário · Aberta em 2/12/2025
Qwen3-VL on ScreenSpot datasets Aberta

Dificuldade 3/5 1-2 dias Facilidade para iniciantes 42/100

open-compass/VLMEvalKit#1332 · 2 comentários · Aberta em 28/11/2025

open-compass/VLMEvalKit

Receba novas issues na sua caixa de entrada