open-compass/opencompass
OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.
¿Es open-compass/opencompass apto para principiantes?
Los mantenedores de open-compass/opencompass suelen responder a un pull request en 5 días. Ahora mismo hay 3 issues aptos para principiantes abiertos.
- Estrellas
- 7.5k
- Forks
- 869
- Issues abiertos para principiantes
- 3
- Issues indexados
- 293
- Merge medio
- 17 h 46 min
- PR fusionados (30 d)
- 15
- Lenguaje dominante
- Python
- Licencia
- Apache-2.0
- Último push a GitHub
- 16/9/2026
- Última indexación
- 19/9/2026
- Guía de contribución
- Sin guía de contribución
- Código de conducta
- Sin código de conducta
- Etiquetas para principiantes
- good first issue
Cómo contribuir a open-compass/opencompass
- No hay guía de contribución, así que empieza por el README y por algunos pull requests fusionados hace poco para ver cómo se proponen los cambios.
- Tus contribuciones se publicarán bajo la licencia Apache-2.0 del proyecto.
- Elige uno de los 3 issues abiertos aptos para principiantes de abajo y comenta que quieres trabajar en él antes de empezar.
Las issues en las que quizá ya trabaja alguien aparecen al final. Ordenar todo por fecha
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
open-compass/opencompass#2655 ·
Los mantenedores suelen responder en 5 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
open-compass/opencompass#2647 · 2 comentarios ·
Los mantenedores suelen responder en 5 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
open-compass/opencompass#2635 ·
Los mantenedores suelen responder en 5 días
-
OpenAI-compat: OpenAISDK openai_api_base /v1, not the requests OpenAI full-path defaultQuizá libre de nuevo @tonysy la tomó hace 29 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2615 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
Feature request: EvalPort import/export for CustomDataset (adapter already built and tested)Quizá libre de nuevo @tonysy la tomó hace 36 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2604 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
CompassAcademic: 4 of 7 objective boards have an unseparated #1, two are exact ties broken by display orderQuizá libre de nuevo @tonysy la tomó hace 56 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2574 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] Qwen3.5 cannot run when using HuggingFacewithChatTemplateQuizá libre de nuevo @tonysy la tomó hace 57 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2573 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
open-compass/opencompass#2516 · 2 comentarios ·
Los mantenedores suelen responder en 5 días
-
[Feature] DIK-structured Turkish syntactic dependency annotation dataset for structured linguistic evaluationQuizá libre de nuevo @tonysy la tomó hace 85 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2508 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] 集成 ThinkCheck 作为 OpenCompass 的“推理健康度”评估维度Quizá libre de nuevo @bittersweet1999 la tomó hace 110 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2475 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] TruthfulQA mcq模式评测支持Quizá libre de nuevo @liushz la tomó hace 179 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2427 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] [Feature] 评测框架代码过于耦合，失误得重新跑推理，文档中没有看到可以复用推理结果从新评测的命令Quizá libre de nuevo @bittersweet1999 la tomó hace 180 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2424 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] opencompass公开学术多模态榜单公布qwen3.5模型的结果Quizá libre de nuevo @tonysy la tomó hace 197 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2413 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] Question: where would a long horizon "tension crash test" TXT pack fit in OpenCompass?Quizá libre de nuevo @tonysy la tomó hace 232 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2396 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
Feature Request: Add Judge Calibration Diagnostics for LLM-as-Judge EvaluationQuizá libre de nuevo @liushz la tomó hace 235 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2392 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
open-compass/opencompass#2386 · 2 comentarios ·
Los mantenedores suelen responder en 5 días
-
[Bug] mmbench 文档不可访问Quizá libre de nuevo @bittersweet1999 la tomó hace 292 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2349 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] 使用飞书/QQ群来进行交流Quizá libre de nuevo @bittersweet1999 la tomó hace 292 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2348 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
期望开通slack方便大家交流分享合作Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
open-compass/opencompass#2341 · 1 comentario · 3 reacciones ·
Los mantenedores suelen responder en 5 días
-
[Bug] 关于评测集社区-daily benchmark模块AI解读的问题Quizá libre de nuevo @bittersweet1999 la tomó hace 299 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2339 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] MedBench模型答案上传文件报错Quizá libre de nuevo @bittersweet1999 la tomó hace 299 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2338 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] 向medbench上传自测数据集失败Quizá libre de nuevo @tonysy la tomó hace 308 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2320 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[RFC] Add a board for local runner to track the states of all tasksQuizá libre de nuevo @tonysy la tomó hace 309 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2317 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature]Quizá libre de nuevo @acylam la tomó hace 310 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2315 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] support tablebenchQuizá libre de nuevo @acylam la tomó hace 338 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2294 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] Addition of BioML-BenchQuizá libre de nuevo @tonysy la tomó hace 371 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2279 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] MMLU 数据集在A100上评测运行日志显示某个批次的最后一个运行时就卡住不动，卡死了Quizá libre de nuevo @acylam la tomó hace 373 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2278 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] How to evaluate infer results of multipl_e?Quizá libre de nuevo @liushz la tomó hace 382 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2265 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] Support pass@1 evaluation for multi predictions in MathEvaluatorQuizá libre de nuevo @acylam la tomó hace 394 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2252 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] MindSpore framework support for OpenCompassQuizá libre de nuevo @liushz la tomó hace 403 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2243 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] 可视化工具Quizá libre de nuevo @liushz la tomó hace 410 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2237 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] Unable to connect to Hugging Face's MultiPLE-EvaluatorQuizá libre de nuevo @Zhudongsheng75 la tomó hace 408 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2229 · 2 asignados ·
Los mantenedores suelen responder en 5 días
-
[Bug] 官网的指导手册有更新嘛？和现在master的代码完全对不上，新版本的内容多久能更新，官网对应的版本是多少Quizá libre de nuevo @Myhs-phz la tomó hace 437 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2197 · 3 comentarios · 1 reacción · 2 asignados ·
Los mantenedores suelen responder en 5 días
-
[Bug] 无法提交PR，因为pre-commit-config.yaml中的update-dataset-suffix和update-dataset-suffix-pacakge钩子不兼容windows环境Quizá libre de nuevo @zhulinJulia24 la tomó hace 452 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2164 · 2 asignados ·
Los mantenedores suelen responder en 5 días
-
[Bug] OpenICLEvalTask does not combine results split by NumWorkerPartitionerQuizá libre de nuevo @liushz la tomó hace 459 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2163 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] 请问主观评测脚本支持用本地模型作为judge模型吗？Quizá libre de nuevo @MaiziXiao la tomó hace 465 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2159 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] add AI/ML API as providerQuizá libre de nuevo @acylam la tomó hace 471 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2147 · 1 comentario · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] qwen2.5-3b-Instruct点数对不上, oc测出来只有52，qwen2.5论文里面是72.7Quizá libre de nuevo @bittersweet1999 la tomó hace 474 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2141 · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] Add mmlu-reduxQuizá libre de nuevo @liushz la tomó hace 480 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2132 · 2 comentarios · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] 纯吐槽，Bug太多了，更新不及时！Quizá libre de nuevo @bittersweet1999 la tomó hace 488 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2119 · 9 comentarios · 6 reacciones · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] Qwen3评测分数低Quizá libre de nuevo @bittersweet1999 la tomó hace 502 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2093 · 8 comentarios · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] I get aime2024 score 10 points on qwen 2.5 32b instructQuizá libre de nuevo @acylam la tomó hace 520 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2042 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature]Quizá libre de nuevo @acylam la tomó hace 520 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#2040 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
open-compass/opencompass#2003 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] The ifeval evaluation on 541 cases returns unexpected low score.Quizá libre de nuevo @bittersweet1999 la tomó hace 536 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#1983 · 2 asignados ·
Los mantenedores suelen responder en 5 días
-
[Feature] How about add bfcl evaluation to the repoQuizá libre de nuevo @tonysy la tomó hace 547 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#1981 · 2 comentarios · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] [Bug] LiveStemBench数据集评测时，推理结果正确。但是启动打分程序时报错 mmengine KeyError: '`cfg` or `default_args` must contain the key "type", but got {}\nNone'Quizá libre de nuevo @tonysy la tomó hace 547 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#1980 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] 多卡测试llama-3-8b-vllm，精度为0Quizá libre de nuevo @acylam la tomó hace 536 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#1979 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Feature] 增加 benbench 评测集Abierto
open-compass/opencompass#1975 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 5 días
-
[Bug] extract_non_reasoning_content error when predict is nullQuizá libre de nuevo @acylam la tomó hace 555 días y no hay ningún pull request abierto. Abierto
open-compass/opencompass#1964 · 4 comentarios · 1 asignado ·
Los mantenedores suelen responder en 5 días
Mostrando los 100 más recientes
Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.