huggingface/lighteval

[BUG] Optimize tokenization

Aberta

#732 aberto em 15 de mai. de 2025

Ver no GitHub
 (1 comentário) (0 reação) (1 responsável)Python (514 forks)auto 404
buggood first issuehelp wantedscience-team

Métricas do repositório

Stars
 (2.496 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Describe the bug

For now tokenization is bing made in a for loop, making the whole process very expensive for large benchmarks.

To Reproduce

run any big benchmarks

Expected behavior

Use batch tokenize to speed it up.

Version info

Please provide your operating system, lighteval version or commit if you installed from main, and pip/conda environment if your problem concerns dependencies.

Guia do colaborador

Direção de pesquisa
Localize o loop de tokenização no código de benchmark e substitua o por tokenização em lote usando batch encode plus ou método similar do tokenizador.
Pilha de tecnologia
python
Domain
machine learningai
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75