huggingface/lighteval

[FT] Manage script and language in the Language enum

Aperta

#745 aperta il 19 mag 2025

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (514 fork)auto 404
featuregood first issue

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Issue encountered

At the moment, we assume one single script per language (which is incorrect).

Solution/Feature

The Language enum needs to be updated to include the script, and templates need to be edited to select which script to provide among the alternatives. See the FLORES 200 task for an example where some subsets had to be removed for this reason.

Guida contributor

Direzione di ricerca
Aggiorna l'enumerazione Language per includere un campo script, quindi modifica i template per selezionare lo script appropriato in base al contesto.
Tech stack
python
Dominio
aibackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70