[EVAL] HELMET: long context evals

仓库指标

星标

2,496 个星标 (2,496 个星标)

PR 合并指标

PR 指标待抓取 (PR 指标待抓取)

描述

贡献者指南

研究方向

研究用于长上下文评估的HELMET基准测试，了解其数据格式和评估指标，并在lighteval中实现一个新的任务来加载和评估HELMET长上下文样本。

技术栈

python

领域

machine learningai

议题类型

功能

难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。

3

预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。

半天

活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。

活跃

清晰度议题是否清楚说明期望改动、验收标准和下一步。

基本清晰

前置要求

PythonGit

新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。

65