huggingface/lighteval

[FT] Manage script and language in the Language enum

Ouverte

#745 ouverte le 19 mai 2025

Voir sur GitHub
 (2 commentaires) (0 réaction) (0 personne assignée)Python (514 forks)auto 404
featuregood first issue

Métriques du dépôt

Stars
 (2 496 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Issue encountered

At the moment, we assume one single script per language (which is incorrect).

Solution/Feature

The Language enum needs to be updated to include the script, and templates need to be edited to select which script to provide among the alternatives. See the FLORES 200 task for an example where some subsets had to be removed for this reason.

Guide contributeur

Direction de recherche
Mettez à jour l'énumération Language pour inclure un champ script, puis modifiez les modèles pour sélectionner le script approprié en fonction du contexte.
Stack technique
python
Domaine
aibackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70