config for parsing MATH
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- testing-qa
Direzione di ricerca
Inizia con il flusso minerva_math in lm_evals e traccia come last_boxed_only_string, remove_boxed, normalize_final_answer, parse e verify gestiscono le frazioni boxed e non boxed. Confronta la logica lighteval collegata e testa entrambe le forme nei subtasks MATH rilevanti; il lavoro è completato quando il comportamento previsto di normalizzazione e parsing è definito e coperto.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi! Currently debugging and updating lm_evals's implementation of minerva_math. Currently we basically use:
gold = parse(normalize_final_answer(remove_boxed(last_boxed_only_string(doc["solution"]))))
answer = parse(raw_model_output)
and then verify(gold, answer)
however, this does have some edge cases for example for a gold (after removing boxed):
parse("\\dfrac{9}{7}")
>>> []
but with boxed works correctly:
parse("\\boxed{\\dfrac{9}{7}}")
>>> [9/7, '\\frac{9}{7}']
I was looking at how lighteval does it, and would this generally work on most MATH tasks, or do y'll handle sub tasks differently? Should we also normalize before parsing?
Would appreciate any thoughts!
- Lingua principale
- Python
- Stelle
- 1.2k
- Fork
- 65
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/Math-Verify
-
verify() raises ValueError comparing chained relations of different lengthForse già presa @chetana1410 l’ha presa 2 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
huggingface/Math-Verify#93 ·
-
A period inside the math delimiters (`$\frac{1}{3}.$`) makes correct answers fail and can make wrong ones passForse già presa @MohammadHijjawi97 l’ha presa 25 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
huggingface/Math-Verify#85 ·
-
evaluate_model_outputs.py: rows whose gold cannot be extracted are dropped from the accuracy denominator, so the printed accuracy disagrees with the is_correct column the script writesForse già presa @shaurya416 l’ha presa 30 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
huggingface/Math-Verify#83 ·
-
verify() rejects a not-equal written in the other orderForse già presa @chetana1410 l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
huggingface/Math-Verify#100 ·
-
verify() rejects an absolute-value inequality that is the same intervalForse già presa @chetana1410 l’ha presa 2 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
huggingface/Math-Verify#98 ·
Tutte le issue di huggingface/Math-Verify
Issue simili
-
link-rot
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 67/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
developmentseed/titiler-cmr#265 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Insecure Brotli version <1.2.1Forse già presa @jamescw19 l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
stac-utils/stac-fastapi-pgstac#438 · 1 reazione ·
-
bug triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno