Fail to parse and verify answer in **xxx**
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 48/100
Direzione di ricerca
L'issue identifica il parser e la funzione verify come punti di ingresso pertinenti, ma non indica file o test. Segui come viene analizzata la coda della risposta, riproduci l'esempio con la formattazione finale 73 e conferma che il valore analizzato escluda i marcatori Markdown e che la verifica abbia esito positivo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I encountered this issue when verifying the answer in a format like answer
For instance, the gt is 73, and the parsed result (default) is [73, '73'], which is good.
The tail partt of the model-generated answer is:
...... - 73 = 489 ...(iii)
Now sum (i)+(ii)+(iii):
Left: (x_D + x_G + x_S) + 2(y_DG + y_DS + y_GS) = 437 + 2*234 = 437 + 468 = 905
Right: 122 + 294 + 489 = 905
✅ Consistent!
So answer is consistent.
Thus, the number of residents who own all four of the things is 73.
✅ Final Answer: 73
The parsed result is [234, '73**'], where the ** should not appear right here.
The result of the "verify" function is False, and I guess the reason is because the ** symbol in the parsed result interferes with the verify function's judgment.
- Lingua principale
- Python
- Stelle
- 1.2k
- Fork
- 65
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/Math-Verify
-
verify() raises ValueError comparing chained relations of different lengthForse già presa @chetana1410 l’ha presa 2 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
huggingface/Math-Verify#93 ·
-
A period inside the math delimiters (`$\frac{1}{3}.$`) makes correct answers fail and can make wrong ones passForse già presa @MohammadHijjawi97 l’ha presa 24 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
huggingface/Math-Verify#85 ·
-
evaluate_model_outputs.py: rows whose gold cannot be extracted are dropped from the accuracy denominator, so the printed accuracy disagrees with the is_correct column the script writesForse già presa @shaurya416 l’ha presa 30 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
huggingface/Math-Verify#83 ·
-
verify() rejects a not-equal written in the other orderForse già presa @chetana1410 l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
huggingface/Math-Verify#100 ·
-
verify() rejects an absolute-value inequality that is the same intervalForse già presa @chetana1410 l’ha presa 1 giorno fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
huggingface/Math-Verify#98 ·
Tutte le issue di huggingface/Math-Verify
Issue simili
-
README.zh-CN/ja/es still hard-code 501 test counts after README.md went count-freeForse già presa @Aaqibhafeezkhan l’ha presa oggi. Apertabeginner documentation good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
BistaDinesh03/critique#164 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug IO
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
MrNeRF/LichtFeld-Studio#3824 ·
I maintainer di solito rispondono entro 1 giorno
-
bug confirmed issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
open-webui/open-webui#33200 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Lychee link check failedAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
-
The changelog workflow excludes otelbot but not dependabot, so every Dependabot pull request fails the changelog checkForse già presa @ocelotl l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
open-telemetry/opentelemetry-python#5825 ·
I maintainer di solito rispondono entro 2 giorni