EleutherAI/lm-evaluation-harness

Add TheoremQA

Open

#518 ouverte le 23 mai 2023

Voir sur GitHub
 (4 commentaires) (0 réactions) (1 assigné)Python (3 306 forks)auto 404
feature requestgood first issuehelp wanted

Métriques du dépôt

Stars
 (12 755 stars)
Métriques de merge PR
 (Merge moyen 15j 7h) (11 PRs mergées en 30 j)

Description

This is awesome work and we should include it. It may be a bit tricky as it involves external calls to the WolframAlpha API for answer evaluation though.

https://github.com/wenhuchen/TheoremQA

Guide contributeur

Direction de recherche
Implémentez la tâche TheoremQA en intégrant l'API WolframAlpha pour l'évaluation des réponses. Suivez la structure de tâche existante dans le dépôt.
Stack technique
python
Domaine
machine learningapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonAPI key for WolframAlpha
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60