EleutherAI/lm-evaluation-harness

Add TheoremQA

Open

#518 aperta il 23 mag 2023

Vedi su GitHub
 (4 commenti) (0 reazioni) (1 assegnatario)Python (3306 fork)auto 404
feature requestgood first issuehelp wanted

Metriche repository

Star
 (12.755 star)
Metriche merge PR
 (Merge medio 15g 7h) (11 PR mergiate in 30 g)

Descrizione

This is awesome work and we should include it. It may be a bit tricky as it involves external calls to the WolframAlpha API for answer evaluation though.

https://github.com/wenhuchen/TheoremQA

Guida contributor

Direzione di ricerca
Implementa il task TheoremQA integrando l'API WolframAlpha per la valutazione delle risposte. Segui la struttura dei task esistente nel repository.
Tech stack
python
Dominio
machine learningapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAPI key for WolframAlpha
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60