huggingface/lighteval

[FT] LiteLLM concurrency parameters hard-coded

Aperta

#567 aperta il 16 feb 2025

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (514 fork)auto 404
featuregood first issuehelp wanted

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I noticed that for LiteLLM the concurrency is hard-coded for an arbitrary number (20). Well, a lot of the request behavior is hard coded, but the concurrency is the one that is probably least likely to work well as a one size fits all.

If everything is going through the YAML file, maybe it can be expanded, although the YAML file is another ball of wax (makes automated runs much harder when you can't just pass in parameters via a call)

Guida contributor

Direzione di ricerca
Esamina il codice di integrazione di LiteLLM per identificare dove la concorrenza è hard coded (probabilmente nella gestione delle richieste o delle sessioni). Proponi un modo per renderla configurabile tramite YAML o parametri di funzione.
Tech stack
python
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonLiteLLM
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60