huggingface/lighteval

[EVAL] Add TUMLU benchmark

Offen

#577 geöffnet am 19.02.2025

Auf GitHub ansehen
 (10 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (514 Forks)auto 404
good first issuehelp wantednew-task

Repository-Metriken

Stars
 (2.496 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Hello! We just released the benchmark for Turkic languages. Does it make sense if I add it to lighteval?

Evaluation short description

  • Why is this evaluation interesting? First native-language MMLU benchmark for low-resource Turkic languages.

  • How is it used in the community? Just released, MC high-school exam questions

Evaluation metadata

Provide all available

Contributor Guide

Research-Richtung
Überprüfen Sie vorhandene Benchmark Implementierungen in lighteval (z.B. MMLU), um die erforderliche Struktur zu verstehen, und fügen Sie dann TUMLU nach dem gleichen Muster hinzu: Erstellen Sie ein neues Aufgabenmodul, registrieren Sie es und überprüfen Sie es mit Tests.
Tech Stack
python
Domain
machine learningbackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitPython
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70