huggingface/lighteval

[BUG] Optimize tokenization

Ouverte

#732 ouverte le 15 mai 2025

Voir sur GitHub
 (1 commentaire) (0 réaction) (1 personne assignée)Python (514 forks)auto 404
buggood first issuehelp wantedscience-team

Métriques du dépôt

Stars
 (2 496 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Describe the bug

For now tokenization is bing made in a for loop, making the whole process very expensive for large benchmarks.

To Reproduce

run any big benchmarks

Expected behavior

Use batch tokenize to speed it up.

Version info

Please provide your operating system, lighteval version or commit if you installed from main, and pip/conda environment if your problem concerns dependencies.

Guide contributeur

Direction de recherche
Localisez la boucle de tokenisation dans le code de benchmark et remplacez la par une tokenisation par lots en utilisant batch encode plus ou une méthode similaire du tokeniseur.
Stack technique
python
Domaine
machine learningai
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75