lm-sys/FastChat

Issues with VLLM Integration Speedup

Open

#2362 aperta il 5 set 2023

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Python (4736 fork)batch import
good first issue

Metriche repository

Star
 (38.959 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hello,

I've been trying to work with the [vLLM integration] and I'm facing some performance discrepancies. According to the documentation, I should achieve a significant speedup, but in my tests, I'm seeing different results:

Directly running with FastChat: 16 t/s Using the VLLM integration: 25 t/s (only 1.5x speedup) VLLM offline inference: 90 t/s (expected 6x speedup) I'm running Vicuna33b on a gin H100 gpu. Has anyone experienced this before? Are there any additional configurations or tweaks I might be missing to get the desired speedup?

Thanks in advance for any guidance or advice!

Guida contributor

Direzione di ricerca
Confronta la configurazione utilizzata nell'integrazione FastChat rispetto all'inferenza offline vLLM. Verifica se FastChat sta utilizzando dimensioni batch, parametri di caricamento del modello o impostazioni del tokenizer diversi che potrebbero causare overhead. Inoltre, assicurati che vengano utilizzati la stessa versione del modello e le stesse impostazioni GPU.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonvLLM
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65