Proprietário
open-compass
5 repositórios indexados · Ver no GitHub
-
opencompass
OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, ...
Python · 7458 estrelas
-
VLMEvalKit
Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ LMMs, 80+ benchmarks
Python · 4401 estrelas
-
GTA
[NeurIPS 2024 D&B] GTA: A Benchmark for General Tool Agents & [arXiv 2026] GTA-2
Python · 152 estrelas
-
AgentCompass
[EMNLP 2026] AgentCompass is an extensible open-source evaluation infrastructure for systematically assessing LLM/VLM agent capabilities.
Python · 138 estrelas
-
GenEditEvalKit
The first unified, efficient, and extensible evaluation toolkit for evaluating image generation and editing models across multiple benchm...
Jupyter Notebook · 50 estrelas
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 90/100
open-compass/VLMEvalKit#1698 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
open-compass/VLMEvalKit#1697 ·
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 92/100
open-compass/VLMEvalKit#1695 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
open-compass/opencompass#2647 · 2 comentários ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
open-compass/VLMEvalKit#1690 · 3 comentários ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
open-compass/opencompass#2635 ·
-
open-compass/opencompass#2631 · 1 responsável ·
-
open-compass/opencompass#2627 · 1 responsável ·
-
Structured extra_records output is discarded for the entire dataset if any single sample fails Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 78/100
open-compass/VLMEvalKit#1665 · 1 comentário ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 38/100
open-compass/AgentCompass#288 · 2 comentários ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
open-compass/VLMEvalKit#1661 · 2 comentários ·
-
open-compass/opencompass#2615 · 1 responsável ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
open-compass/VLMEvalKit#1652 ·
-
open-compass/opencompass#2604 · 1 responsável ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
open-compass/AgentCompass#276 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 72/100
open-compass/AgentCompass#273 · 1 comentário ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 64/100
open-compass/VLMEvalKit#1632 ·
-
Qwen-Image-Bench support Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
-
CVTG-2K support Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 48/100
open-compass/VLMEvalKit#1621 ·
-
MMMU Open-ended问题无法正确评测 Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
open-compass/VLMEvalKit#1617 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
open-compass/VLMEvalKit#1615 · 1 comentário ·
-
open-compass/opencompass#2574 · 1 comentário · 1 responsável ·
-
open-compass/opencompass#2573 · 1 responsável ·
-
有些基准没有放数据url Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 48/100
open-compass/VLMEvalKit#1614 ·
-
LiveMMBench空链接 Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 38/100
open-compass/VLMEvalKit#1600 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
open-compass/opencompass#2516 · 2 comentários ·
-
请问flyai-vl模型的评测什么时候可以支持？ Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
open-compass/VLMEvalKit#1598 ·
-
open-compass/opencompass#2508 · 1 comentário · 1 responsável ·
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 78/100
open-compass/VLMEvalKit#1589 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 58/100
open-compass/VLMEvalKit#1590 · 1 comentário ·
-
Adding [BenchCAD]: would you accept execution-based image→CadQuery-code tasks (heavier deps)? Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
open-compass/VLMEvalKit#1582 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
open-compass/VLMEvalKit#1580 ·
-
open-compass/opencompass#2475 · 1 responsável ·
-
Qwen 3.5支持 Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
open-compass/VLMEvalKit#1562 · 3 reações ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 64/100
open-compass/VLMEvalKit#1559 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
open-compass/VLMEvalKit#1553 ·
-
是否能发布pypi源 Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
open-compass/VLMEvalKit#1537 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
open-compass/VLMEvalKit#1529 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
open-compass/VLMEvalKit#1528 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
open-compass/GTA#8 · 1 reação ·
-
About MMBench Evaluation Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
open-compass/VLMEvalKit#1516 · 3 comentários · 3 reações ·
-
open-compass/opencompass#2427 · 1 comentário · 1 responsável ·
-
open-compass/opencompass#2424 · 1 comentário · 1 responsável ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
open-compass/VLMEvalKit#1500 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 32/100
open-compass/VLMEvalKit#1498 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
open-compass/VLMEvalKit#1485 ·
-
open-compass/opencompass#2413 · 1 responsável ·
-
评测MMBench数据集发现部分问题判别错误 Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
open-compass/VLMEvalKit#1480 · 2 comentários ·
Mostrando os 100 mais recentes
Esta página lista apenas o que foi indexado mais recentemente. O filtro avançado tem o inventário completo, refinado por linguagem, dificuldade e duração.