crowbook: leaderboard score from programbench 1.0.2 doesn't hold under 1.2.4
还没有人认领这个 Issue。
评估
调研方向
Start by checking how ProgramBench stores leaderboard scores and per-test results, then trace whether scoring records include the programbench version. Compare the handling of the 1.0.2 and 1.2.4 results for the cited crowbook entry. Done means clarifying whether older results are re-evaluated or retained and addressing the cross-version comparison inconsistency.
由索引模型根据 Issue 内容生成。
描述
The leaderboard's 20260508_mini-v2.2.6_gpt-5-5-xhigh entry (scored with programbench 1.0.2) has crowdagger__crowbook.ea214d7 at 2.9% (23 of 807), failing even the --help tests. Re-scoring the same submission with programbench 1.2.4 (task image pinned by digest, hidden tests at Hugging Face revision de0ddfb6) gives 67.0%, with the --help tests passing.
Are entries scored with older versions re-evaluated, or are per-test results from 1.0.2 kept as-is? If they're kept, cross-version comparisons on this task are off by a lot.
- 主要语言
- Python
- 星标
- 967
- 派生
- 66
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
facebookresearch/ProgramBench 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 72/100
-
难度 4/5 3-5 天 新手友好度 28/100
-
pytest-rerunfailures 16.6.1 duplicates JUnit records and inflates scores可能已有人在做 @zwzhang0107 于 50 天前认领。 未关闭
难度 3/5 1-2 天 新手友好度 68/100
-
难度 4/5 3-5 天 新手友好度 55/100
facebookresearch/ProgramBench#60 · 1 条评论 ·
-
难度 4/5 3-5 天 新手友好度 35/100
查看 facebookresearch/ProgramBench 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 72/100
slavakurilyak/awesome-ai-agents#845 ·
维护者通常 1 天内回复
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directory可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭difficulty:2 enhancement good first issue
难度 1/5 1-3 小时 新手友好度 92/100
MakazhanAlpamys/Soup#2178 ·
维护者通常 1 天内回复
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-values未关闭
难度 2/5 1-3 小时 新手友好度 75/100
scverse/rapids-singlecell#854 ·
维护者通常 1 天内回复
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGL可能已有人在做 @ninglinLiu 今天认领。 未关闭area:frontend backend:slang bug direction:input
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
random_elements(unique=True) on an OrderedDict: ZeroDivisionError once only zero weights remain, AssertionError with use_weighting=False可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 85/100
维护者通常 13 天内回复