huggingface/lighteval

[EVAL] Big-Bench Extra Hard (BBEH)

Aberta

#600 aberto em 3 de mar. de 2025

Ver no GitHub
 (3 comentários) (0 reação) (0 responsável)Python (514 forks)auto 404
good first issuehelp wantednew-taskscience-team

Métricas do repositório

Stars
 (2.496 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Evaluation short description

Google has releases BBEH as a way to compensate for the saturation of BBH in the latest generation of LLMs. Overall looks like a good benchmark to probe reasoning capabilities.

Evaluation metadata

Provide all available

Guia do colaborador

Direção de pesquisa
Estude o artigo do BBEH e o formato do conjunto de dados, depois implemente uma tarefa de avaliação semelhante às existentes no Lighteval, seguindo o guia do colaborador.
Pilha de tecnologia
python
Domain
aibackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonLLM evaluationGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50