[EVAL] Adding PHARE

Métricas do repositório

Stars

2.496 estrelas (2.496 estrelas)

Métricas de merge de PR

Métricas PR pendentes (Métricas PR pendentes)

Description

Guia do colaborador

Direção de pesquisa

Implemente o benchmark de avaliação PHARE adicionando o dataset do Hugging Face (giskardai/phare), implementando a métrica e a configuração da tarefa no framework lighteval e criando um exemplo de avaliação.

Pilha de tecnologia

python

Domain

machine learning

Tipo Issue

Funcionalidade

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

1-2 dias

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

Ativo

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

Principalmente claro

Prerequisites

Python

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

60