huggingface/lighteval

[EVAL] Big-Bench Extra Hard (BBEH)

Aperta

#600 aperta il 3 mar 2025

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (514 fork)auto 404
good first issuehelp wantednew-taskscience-team

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Evaluation short description

Google has releases BBEH as a way to compensate for the saturation of BBH in the latest generation of LLMs. Overall looks like a good benchmark to probe reasoning capabilities.

Evaluation metadata

Provide all available

Guida contributor

Direzione di ricerca
Studia l'articolo di BBEH e il formato del dataset, quindi implementa un task di valutazione simile a quelli esistenti in Lighteval, seguendo la guida per i collaboratori.
Tech stack
python
Dominio
aibackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonLLM evaluationGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50