PBench & VisRes
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 冷清
- 技术栈
- python
调研方向
未指定文件、测试或入口点。首先查看仓库现有的基准评估工作流，然后确定应如何使用 Kimi K3 测试 VisRes、SalBench 和 PBench。完成的标准是为所请求的基准生成可比较的结果，并记录评估输出。
由索引模型根据 Issue 内容生成。
描述
Thanks for the nice contribution. We've been doing some work in this area and would appreciate if you could test Kimi K3 on a few benchmarks we introduced:
VisRes https://arxiv.org/pdf/2512.21194
Image-only visual reasoning (completion, rules, composition); good check on whether K3 relies on language priors vs. actual visual abstraction.
SalBench https://arxiv.org/abs/2507.04741
Low-level saliency / odd-one-out; shows if K3 catches obvious pop-out features humans spot instantly -> a blind spot for many frontier VLMs.
PBench (counting / compositional grounding) -> https://arxiv.org/abs/2603.27365 https://huggingface.co/datasets/tiiuae/PBench
Compositional counting under dense, crowded scenes; would stress-test K3 beyond PerceptionBench's Count slice, especially with OCR + spatial constraints.
Bests,
Yasser
- 主要语言
- Python
- 星标
- 217
- 派生
- 13
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
MoonshotAI/PerceptionBench 的其他 Issue
-
难度 1/5 1-3 小时 新手友好度 68/100
-
Test set未关闭
难度 5/5 一周以上 新手友好度 35/100
MoonshotAI/PerceptionBench#2 · 1 个 reaction ·
查看 MoonshotAI/PerceptionBench 的全部 Issue
相似的 Issue
-
enhancement
难度 2/5 1-3 小时 新手友好度 78/100
glossyio/traffic-monitor#264 ·
维护者通常 1 天内回复
-
Add self-host未关闭
难度 1/5 1 小时以内 新手友好度 75/100
Atarity/deploy-your-own-saas#102 ·
-
[Bug]: RDFlex silently drops the covariate adjustment when the outcome or treatment column is integer-typed可能已有人在做 @vrjdev 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
DoubleML/doubleml-for-py#424 ·
维护者通常 1 天内回复
-
agentic-dmx docs enhancement
难度 1/5 1-3 小时 新手友好度 86/100
-
难度 1/5 1 小时以内 新手友好度 72/100
521xueweihan/HelloGitHub#4150 ·