[EVAL] Long Horizon Execution · huggingface/lighteval

(7 件のコメント) (0 件のリアクション) (1 人の担当者)Python (514 件のフォーク)auto 404

good first issuehelp wantednew-task

Repository metrics

Stars: (2,496 個のスター)
PR merge metrics: (PR metrics pending)

説明

Evaluation short description

Long context
used by Jan moodel https://huggingface.co/janhq/Jan-v2-VL-low

Evaluation metadata

Provide all available

Paper url: https://arxiv.org/abs/2509.09677
Github url: https://github.com/long-horizon-execution/measuring-execution/
Dataset url: https://huggingface.co/datasets/arvindh75/Long-Horizon-Execution

コントリビューターガイド

調査方針: 提供された論文とデータセットを使用して、Long Horizon Execution評価タスクを実装します。論文（https://arxiv.org/abs/2509.09677）で指標と方法論を研究し、Hugging Faceのデータセットを統合します。lightevalの既存の評価タスクをテンプレートとして参照してください。
技術スタック: python
領域: machine learningai
Issue 種別: 機能
難度: 3
推定時間: 1-2日
活動状況: アクティブ
明確さ: 明確
前提条件: Pythonlighteval framework
初心者向け度: 60