verify() rejects a not-equal written in the other order
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Start by tracing verify() and the relation lookup that uses INVERSE_RELATIONS, then inspect the existing tests for inverse relations. Add coverage for swapped Ne comparisons with and without raise_on_error=True; done means equivalent inequalities match in both orders, while comparisons with different values remain false.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
verify() returns False when the two sides of a not-equal are swapped. With raise_on_error=True the same comparison raises KeyError.
from math_verify import parse, verify
verify(parse(r"$1 \neq 2$"), parse(r"$2 \neq 1$"))
# False
verify(parse(r"$x \neq y$"), parse(r"$y \neq x$"), raise_on_error=True)
# KeyError: <class 'sympy.core.relational.Unequality'>
x > 1 matches 1 < x, and x = 1 matches 1 = x. Those relations are listed in INVERSE_RELATIONS. Ne is not, so the flipped comparison looks it up and raises. The default raise_on_error=False turns that into False, so 1 \neq 2 is scored wrong against 2 \neq 1.
The same statement in the same order still matches, and a different value stays wrong: x \neq 1 against x \neq 2 is False.
This is on main (ba3d3aa).
- Ngôn ngữ chính
- Python
- Star
- 1.2k
- Fork
- 65
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của huggingface/Math-Verify
-
verify() raises ValueError comparing chained relations of different lengthCó thể đã có người làm @chetana1410 đã nhận 2 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/Math-Verify#93 ·
-
A period inside the math delimiters (`$\frac{1}{3}.$`) makes correct answers fail and can make wrong ones passCó thể đã có người làm @MohammadHijjawi97 đã nhận 25 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
huggingface/Math-Verify#85 ·
-
evaluate_model_outputs.py: rows whose gold cannot be extracted are dropped from the accuracy denominator, so the printed accuracy disagrees with the is_correct column the script writesCó thể đã có người làm @shaurya416 đã nhận 31 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/Math-Verify#83 ·
-
verify() rejects an absolute-value inequality that is the same intervalCó thể đã có người làm @chetana1410 đã nhận 2 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
huggingface/Math-Verify#98 ·
-
verify() rejects equivalent chained relations written in a different orderCó thể đã có người làm @chetana1410 đã nhận 2 ngày trước. Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
huggingface/Math-Verify#96 ·
Tất cả issue của huggingface/Math-Verify
Issue tương tự
-
Web transport: small test gapsĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
scikit-learn-contrib/category_encoders#553 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
tests/strategies_test.py:174 goes uncovered on about 1 run in 100, failing the coverage ratchetĐang mởflaky-watch
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
btclib-org/btclib#2839 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
BarrelList constructor drops false-valued iterable contentsCó thể đã có người làm @Gambit-Checkmate đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 19 ngày
-
[Performance]: Redundant object-storage pull when model and tokenizer share the same RunAI URIĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
vllm-project/vllm#63863 ·
Maintainer thường phản hồi trong vòng 1 ngày