EleutherAI/lm-evaluation-harness

Add TheoremQA

Open

#518 创建于 2023年5月23日

在 GitHub 查看
 (4 评论) (0 反应) (1 负责人)Python (3,306 fork)auto 404
feature requestgood first issuehelp wanted

仓库指标

Star
 (12,755 star)
PR 合并指标
 (平均合并 15天 7小时) (30 天内合并 11 个 PR)

描述

This is awesome work and we should include it. It may be a bit tricky as it involves external calls to the WolframAlpha API for answer evaluation though.

https://github.com/wenhuchen/TheoremQA

贡献者指南

研究方向
通过集成WolframAlpha API进行答案评估来实现TheoremQA任务。遵循仓库中现有的任务结构。
技术栈
python
领域
machine learningapi
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonAPI key for WolframAlpha
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
60