huggingface/lighteval

[FT] Add tests for `VLLMModel` base methods

Aperta

#724 aperta il 15 mag 2025

Vedi su GitHub
 (0 commenti) (1 reazione) (1 assegnatario)Python (514 fork)auto 404
featuregood first issue

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Issue encountered

From @lewtun: in addition to adding integration tests for the vllm backend of lighteval WDYT about prioritising some unit tests for the VLLMModel class methods? That would help catch subtle bugs like this and also protect us a bit from silent, yet breaking changes on the vllm side

Solution/Feature

Add tests for VLLMModel

Guida contributor

Direzione di ricerca
Guarda i test esistenti nel repository, specialmente per altri backend di modelli, per comprendere i pattern di test. Quindi ispeziona i metodi della classe VLLMModel per scrivere test unitari che coprano casi limite e potenziali fallimenti silenziosi.
Tech stack
python
Dominio
testing
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonpytest
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75