huggingface/lighteval

[EVAL] Long Horizon Execution

Aperta

#1056 aperta il 13 nov 2025

Vedi su GitHub
 (7 commenti) (0 reazioni) (1 assegnatario)Python (514 fork)auto 404
good first issuehelp wantednew-task

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Evaluation short description

Evaluation metadata

Provide all available

Guida contributor

Direzione di ricerca
Implementa il task di valutazione Long Horizon Execution utilizzando il paper e il dataset forniti. Studia il paper (https://arxiv.org/abs/2509.09677) per metriche e metodologia, e integra il dataset da Hugging Face. Fai riferimento ai task di valutazione esistenti in lighteval come template.
Tech stack
python
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonlighteval framework
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60