Feature: Use GeoVerify system to compare mathematical equivalence
还没有人认领这个 Issue。
评估
调研方向
首先检查链接的 GeoVerify 项目，以及 math-verify 现有的解析和等价性流程。确定 GeoVerify 的引擎如何与该解析器协同工作，并将完成标准定义为实现一个可工作的对比，且使用同条件的 benchmark；issue 中没有指定任何 repository 文件或测试。
由索引模型根据 Issue 内容生成。
描述
GeoVerify (created to spit in Meta's face), seems to be a great Mathematical equivalence evaluator, and seems it would great to use math-verify parsing alongside GeoVerify's equivalence engine.
It seems to have impressive performance, however it's not exactly apples-to-apples comparison. The original benchmark is closed.
| Method | Parameters | Agreement | Precision | Recall | F1 |
|---|---|---|---|---|---|
| math-verify (rule-based) | 0 | 5.95% | 5.38 | 6.67 | 5.96 |
| general-verifier | 1.5B | 82.74% | 83.13 | 93.24 | 87.90 |
| CompassVerifier | 32B | 91.66% | 94.20 | 86.67 | 90.28 |
| Qwen3-4B (prompted) | 4B | 92.26% | 89.74 | 93.33 | 91.50 |
| Qwen3-14B (prompted) | 14B | 93.45% | 92.21 | 94.67 | 93.42 |
| o3 (prompted) | undisclosed | 94.05% | 93.33 | 93.33 | 93.33 |
| GPT-OSS-20B (prompted) | 3.6B | 94.64% | 95.83 | 92.00 | 93.88 |
| GPT-OSS-120B (prompted) | 5.1B | 95.24% | 97.18 | 92.00 | 94.52 |
| GeoVerify | 0 | 95.88% | 94.81 | 96.05 | 95.42 |
It was made by Richard Aragon, it's MIT license.
- 主要语言
- Python
- 星标
- 1.2k
- 派生
- 67
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
huggingface/Math-Verify 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
huggingface/Math-Verify#102 ·
-
verify() raises ValueError comparing chained relations of different length可能已有人在做 @chetana1410 于 7 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
huggingface/Math-Verify#93 ·
-
A period inside the math delimiters (`$\frac{1}{3}.$`) makes correct answers fail and can make wrong ones pass可能已有人在做 @MohammadHijjawi97 于 30 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 90/100
huggingface/Math-Verify#85 ·
-
evaluate_model_outputs.py: rows whose gold cannot be extracted are dropped from the accuracy denominator, so the printed accuracy disagrees with the is_correct column the script writes可能已有人在做 @shaurya416 于 35 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
huggingface/Math-Verify#83 ·
-
verify() rejects a not-equal written in the other order可能已有人在做 @chetana1410 于 6 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 35/100
huggingface/Math-Verify#100 ·
查看 huggingface/Math-Verify 的全部 Issue
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 86/100
NousResearch/hermes-agent#147104 ·
维护者通常 1 天内回复
-
[oblt-aw][autodoc] Document new required `shared-org-key` input for `obs-aw-dependency-review`可能已有人在做 @github-actions 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 90/100
维护者通常 1 天内回复
-
bot-triaged module: inductor oncall: pt2 topic: fuzzer triaged
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
getchaintips leaves out the active tip once a header is staged on it, where Core always lists it未关闭
难度 2/5 1-3 小时 新手友好度 88/100
btclib-org/btclib-node#2158 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
patrick-hudson/put.gd-desktop#979 · 1 条评论 ·
维护者通常 1 天内回复