Fail to parse and verify answer in **xxx**
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 48/100
Hướng nghiên cứu
Issue xác định parser và hàm verify là các điểm vào liên quan, nhưng không nêu tên tệp hoặc test. Hãy lần theo cách phần cuối của câu trả lời được phân tích, tái hiện ví dụ với định dạng 73 ở cuối và xác nhận rằng giá trị được phân tích không bao gồm các marker Markdown, đồng thời việc xác minh thành công.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I encountered this issue when verifying the answer in a format like answer
For instance, the gt is 73, and the parsed result (default) is [73, '73'], which is good.
The tail partt of the model-generated answer is:
...... - 73 = 489 ...(iii)
Now sum (i)+(ii)+(iii):
Left: (x_D + x_G + x_S) + 2(y_DG + y_DS + y_GS) = 437 + 2*234 = 437 + 468 = 905
Right: 122 + 294 + 489 = 905
✅ Consistent!
So answer is consistent.
Thus, the number of residents who own all four of the things is 73.
✅ Final Answer: 73
The parsed result is [234, '73**'], where the ** should not appear right here.
The result of the "verify" function is False, and I guess the reason is because the ** symbol in the parsed result interferes with the verify function's judgment.
- Ngôn ngữ chính
- Python
- Star
- 1.2k
- Fork
- 65
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của huggingface/Math-Verify
-
verify() raises ValueError comparing chained relations of different lengthCó thể đã có người làm @chetana1410 đã nhận 2 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/Math-Verify#93 ·
-
A period inside the math delimiters (`$\frac{1}{3}.$`) makes correct answers fail and can make wrong ones passCó thể đã có người làm @MohammadHijjawi97 đã nhận 25 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
huggingface/Math-Verify#85 ·
-
evaluate_model_outputs.py: rows whose gold cannot be extracted are dropped from the accuracy denominator, so the printed accuracy disagrees with the is_correct column the script writesCó thể đã có người làm @shaurya416 đã nhận 31 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/Math-Verify#83 ·
-
verify() rejects a not-equal written in the other orderCó thể đã có người làm @chetana1410 đã nhận 2 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
huggingface/Math-Verify#100 ·
-
verify() rejects an absolute-value inequality that is the same intervalCó thể đã có người làm @chetana1410 đã nhận 2 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
huggingface/Math-Verify#98 ·
Tất cả issue của huggingface/Math-Verify
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
btclib-org/btclib-node#2083 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Gathin23/cleanyourtv#2089 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
jxxghp/MoviePilot#7212 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Web transport: small test gapsĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
cli dx rust
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
NekomyaDev/nudge#278 ·
Maintainer thường phản hồi trong vòng 1 ngày