[EVAL] HELMET: long context evals

Metriche repository

Star

2496 stelle (2496 stelle)

Metriche merge PR

Metriche PR in attesa (Metriche PR in attesa)

Descrizione

Guida contributor

Direzione di ricerca

Studia il benchmark HELMET per la valutazione del contesto lungo, comprendi il formato dei dati e le metriche, e implementa una nuova attività in lighteval per caricare e valutare i campioni di contesto lungo di HELMET.

Tech stack

python

Dominio

machine learningai

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

Mezza giornata

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Abbastanza chiara

Prerequisiti

PythonGit

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

65