huggingface/lighteval

[EVAL] Add TUMLU benchmark

Aberta

#577 aberto em 19 de fev. de 2025

Ver no GitHub
 (10 comentários) (0 reação) (0 responsável)Python (514 forks)auto 404
good first issuehelp wantednew-task

Métricas do repositório

Stars
 (2.496 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Hello! We just released the benchmark for Turkic languages. Does it make sense if I add it to lighteval?

Evaluation short description

  • Why is this evaluation interesting? First native-language MMLU benchmark for low-resource Turkic languages.

  • How is it used in the community? Just released, MC high-school exam questions

Evaluation metadata

Provide all available

Guia do colaborador

Direção de pesquisa
Revise as implementações de benchmark existentes no lighteval (ex. MMLU) para entender a estrutura necessária e, em seguida, adicione o TUMLU seguindo o mesmo padrão: crie um novo módulo de tarefa, registre o e verifique com testes.
Pilha de tecnologia
python
Domain
machine learningbackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70