modelscope/evalscope
A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) evaluation and performance benchmarking.
modelscope/evalscope 对新手友好吗？
近 30 天，modelscope/evalscope 合并了外部贡献者提交的 74 个 PR 中的 58 个，维护者通常 1 天内回复。 目前没有开放的新手友好 issue，下方列出了我们收录的该仓库的其他 issue。
- 星标
- 3.5k
- 派生
- 505
- 开放的新手 issue
- 0
- 已索引 issue
- 39
- 平均合并
- 2 天 14 小时
- 30 天内合并 PR
- 70
如何为 modelscope/evalscope 做贡献
- 先读贡献指南：它说明了维护者希望如何提出、测试和评审改动。
- 你的贡献将以该项目的 Apache-2.0 许可证发布。
- 关注这个仓库，有新的新手友好 issue 时就能知道；也可以看看下方的其他 issue。
可能已有人在做的 issue 排在最后。 全部按时间排序
-
难度 2/5 1-3 小时 新手友好度 75/100
modelscope/evalscope#1821 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 85/100
modelscope/evalscope#1817 ·
维护者通常 1 天内回复
-
enhancement
难度 4/5 3-5 天 新手友好度 45/100
modelscope/evalscope#1781 ·
维护者通常 1 天内回复
-
增加模型评估哪些数据集是必做的未关闭enhancement
难度 5/5 一周以上 新手友好度 35/100
modelscope/evalscope#1779 ·
维护者通常 1 天内回复
-
是否接入jev类选择模型未关闭enhancement
难度 4/5 3-5 天 新手友好度 45/100
modelscope/evalscope#1762 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 45/100
modelscope/evalscope#1708 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 52/100
modelscope/evalscope#1682 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 52/100
modelscope/evalscope#1648 · 1 条评论 ·
维护者通常 1 天内回复
-
ifbench评测集指标问题未关闭
难度 3/5 1-2 天 新手友好度 38/100
modelscope/evalscope#1606 · 7 条评论 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 20/100
modelscope/evalscope#1582 · 1 条评论 ·
维护者通常 1 天内回复
-
[Feature] Framing-robustness benchmark: does a judge's moral verdict survive the act being reworded?未关闭
难度 5/5 一周以上 新手友好度 35/100
modelscope/evalscope#1540 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 52/100
modelscope/evalscope#1493 · 2 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 4/5 3-5 天 新手友好度 45/100
modelscope/evalscope#1452 · 1 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 5/5 一周以上 新手友好度 25/100
modelscope/evalscope#1393 ·
维护者通常 1 天内回复
-
enhancement
难度 5/5 一周以上 新手友好度 35/100
modelscope/evalscope#1360 · 1 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 5/5 一周以上 新手友好度 42/100
modelscope/evalscope#1278 · 2 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 4/5 3-5 天 新手友好度 30/100
modelscope/evalscope#1151 ·
维护者通常 1 天内回复
-
Audio ASR benchmarks (LibriSpeech / TORGO) fail with 400 Bad Request when using sglang server mode未关闭
难度 4/5 3-5 天 新手友好度 35/100
modelscope/evalscope#1108 · 1 条评论 ·
维护者通常 1 天内回复
-
BFCL-v4评测复现失败未关闭
难度 4/5 3-5 天 新手友好度 25/100
modelscope/evalscope#1100 · 6 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 35/100
modelscope/evalscope#979 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
modelscope/evalscope#951 · 3 条评论 · 2 个 reaction ·
维护者通常 1 天内回复
-
enhancement
难度 4/5 3-5 天 新手友好度 35/100
modelscope/evalscope#930 · 5 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 5/5 一周以上 新手友好度 25/100
modelscope/evalscope#842 · 1 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 5/5 一周以上 新手友好度 25/100
modelscope/evalscope#742 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 48/100
modelscope/evalscope#651 · 3 条评论 ·
维护者通常 1 天内回复
-
FewCLUE/cluewsc数据集支持可能重新可做 @JerryChaox 于 23 天前认领，目前没有进行中的 PR。 未关闭enhancement
难度 3/5 1-2 天 新手友好度 35/100
modelscope/evalscope#618 · 1 条评论 ·
维护者通常 1 天内回复
-
希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。可能重新可做 @Yunnglin 于 527 天前认领，目前没有进行中的 PR。 未关闭enhancement native
modelscope/evalscope#527 · 2 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
如何对 'http://127.0.0.1:9009/v1/completions' 进行 测试可能重新可做 @Yunnglin 于 570 天前认领，目前没有进行中的 PR。 未关闭enhancement native
modelscope/evalscope#393 · 3 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Native: reuse the default ModelScope dataset cache without dataset_id可能已有人在做 @sfeng1996 于 9 天前认领。 未关闭
难度 4/5 3-5 天 新手友好度 65/100
modelscope/evalscope#1794 ·
维护者通常 1 天内回复
-
Followup to #1629: CICD Improvements可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 4/5 3-5 天 新手友好度 30/100
modelscope/evalscope#1631 · 1 条评论 ·
维护者通常 1 天内回复
-
文生图模型无法调用本地部署的服务可能已有人在做 @Excelius-Wang 于 48 天前认领。 未关闭enhancement
难度 4/5 3-5 天 新手友好度 30/100
modelscope/evalscope#1040 · 1 条评论 ·
维护者通常 1 天内回复