huggingface/lighteval

[EVAL] Add TUMLU benchmark

Aperta

#577 aperta il 19 feb 2025

Vedi su GitHub
 (10 commenti) (0 reazioni) (0 assegnatari)Python (514 fork)auto 404
good first issuehelp wantednew-task

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Hello! We just released the benchmark for Turkic languages. Does it make sense if I add it to lighteval?

Evaluation short description

  • Why is this evaluation interesting? First native-language MMLU benchmark for low-resource Turkic languages.

  • How is it used in the community? Just released, MC high-school exam questions

Evaluation metadata

Provide all available

Guida contributor

Direzione di ricerca
Esamina le implementazioni di benchmark esistenti in lighteval (es. MMLU) per comprendere la struttura richiesta, quindi aggiungi TUMLU seguendo lo stesso schema: crea un nuovo modulo task, registralo e verifica con i test.
Tech stack
python
Dominio
machine learningbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70