[EVAL] Long Horizon Execution

仓库指标

星标

2,496 个星标 (2,496 个星标)

PR 合并指标

PR 指标待抓取 (PR 指标待抓取)

描述

贡献者指南

研究方向

使用提供的论文和数据集实现长时执行评估任务。研究论文（https://arxiv.org/abs/2509.09677）了解指标和方法，并集成Hugging Face上的数据集。参考lighteval中现有的评估任务作为模板。

技术栈

python

领域

machine learningai

议题类型

功能

难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。

3

预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。

1-2 天

活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。

活跃

清晰度议题是否清楚说明期望改动、验收标准和下一步。

清晰

前置要求

Pythonlighteval framework

新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。

60