Fail to parse and verify answer in **xxx**
还没有人认领这个 Issue。
评估
调研方向
该 issue 将 parser 和 verify 函数确定为相关入口点，但没有指出文件或测试。跟踪答案末尾的解析方式，使用最后的 73 格式复现该示例，并确认解析出的值不包含 Markdown 标记且验证成功。
由索引模型根据 Issue 内容生成。
描述
I encountered this issue when verifying the answer in a format like answer
For instance, the gt is 73, and the parsed result (default) is [73, '73'], which is good.
The tail partt of the model-generated answer is:
...... - 73 = 489 ...(iii)
Now sum (i)+(ii)+(iii):
Left: (x_D + x_G + x_S) + 2(y_DG + y_DS + y_GS) = 437 + 2*234 = 437 + 468 = 905
Right: 122 + 294 + 489 = 905
✅ Consistent!
So answer is consistent.
Thus, the number of residents who own all four of the things is 73.
✅ Final Answer: 73
The parsed result is [234, '73**'], where the ** should not appear right here.
The result of the "verify" function is False, and I guess the reason is because the ** symbol in the parsed result interferes with the verify function's judgment.
- 主要语言
- Python
- 星标
- 1.2k
- 派生
- 67
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
huggingface/Math-Verify 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
huggingface/Math-Verify#102 ·
-
verify() raises ValueError comparing chained relations of different length可能已有人在做 @chetana1410 于 9 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
huggingface/Math-Verify#93 ·
-
A period inside the math delimiters (`$\frac{1}{3}.$`) makes correct answers fail and can make wrong ones pass可能已有人在做 @MohammadHijjawi97 于 32 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 90/100
huggingface/Math-Verify#85 ·
-
evaluate_model_outputs.py: rows whose gold cannot be extracted are dropped from the accuracy denominator, so the printed accuracy disagrees with the is_correct column the script writes可能已有人在做 @shaurya416 于 38 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
huggingface/Math-Verify#83 ·
-
verify() rejects a not-equal written in the other order可能已有人在做 @chetana1410 于 9 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 35/100
huggingface/Math-Verify#100 ·
查看 huggingface/Math-Verify 的全部 Issue
相似的 Issue
-
question
难度 2/5 1-3 小时 新手友好度 62/100
conda-forge/vc-feedstock#132 ·
-
难度 2/5 1-3 小时 新手友好度 72/100
limitlessprojects/Go-Hybrid#3342 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 85/100
UKGovernmentBEIS/inspect_ai#6268 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 65/100
LSSTDESC/rail_sompz#42 ·
-
难度 2/5 1-3 小时 新手友好度 66/100
pytest-dev/pytest-forked#113 ·