huggingface/lighteval

[FT] Add tests for `VLLMModel` base methods

Aberta

#724 aberto em 15 de mai. de 2025

Ver no GitHub
 (0 comentário) (1 reação) (1 responsável)Python (514 forks)auto 404
featuregood first issue

Métricas do repositório

Stars
 (2.496 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Issue encountered

From @lewtun: in addition to adding integration tests for the vllm backend of lighteval WDYT about prioritising some unit tests for the VLLMModel class methods? That would help catch subtle bugs like this and also protect us a bit from silent, yet breaking changes on the vllm side

Solution/Feature

Add tests for VLLMModel

Guia do colaborador

Direção de pesquisa
Veja os testes existentes no repositório, especialmente para outros backends de modelo, para entender os padrões de teste. Em seguida, inspecione os métodos da classe VLLMModel para escrever testes unitários que cubram casos extremos e possíveis falhas silenciosas.
Pilha de tecnologia
python
Domain
testing
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonpytest
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75