confident-ai/deepeval

Support popular benchmarks

开放

#508 创建于 2024年2月22日

在 GitHub 查看贡献者指南
 (11 条评论) (0 个反应) (0 位负责人)Python (1,677 个派生)auto 404
enhancementhelp wanted

仓库指标

星标
 (16,939 个星标)
PR 合并指标
 (平均合并 4天 16小时) (30 天内合并 26 个 PR)

描述

Currently, users of deepeval can only create their own evaluation dataset/test cases. To support more users fine-tuning their model, deepeval should be able to import standard benchmarks such as MMLU, hellaswag, TruthfulQA, Big Bench, etc.

Comment or DM on discord to discuss more: https://discord.com/invite/a3K9c8GRGt

贡献者指南

研究方向
研究 deepeval 中现有的数据集和测试用例创建机制，然后设计一种方法来导入标准基准，如 MMLU、Hellaswag、TruthfulQA 和 Big Bench。提供如何在框架中加载和使用这些基准的示例。
技术栈
python
领域
machine learningaitesting
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
GitPython
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
60