lm-sys/FastChat

Issues with VLLM Integration Speedup

Open

#2 362 ouverte le 5 sept. 2023

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Python (38 959 stars) (4 736 forks)batch import
good first issue

Description

Hello,

I've been trying to work with the [vLLM integration] and I'm facing some performance discrepancies. According to the documentation, I should achieve a significant speedup, but in my tests, I'm seeing different results:

Directly running with FastChat: 16 t/s Using the VLLM integration: 25 t/s (only 1.5x speedup) VLLM offline inference: 90 t/s (expected 6x speedup) I'm running Vicuna33b on a gin H100 gpu. Has anyone experienced this before? Are there any additional configurations or tweaks I might be missing to get the desired speedup?

Thanks in advance for any guidance or advice!

Guide contributeur

Stack technique
python
Domaine
performancebackend
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
half day
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
PythonFastChat basicsvLLM integration
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35
Direction de recherche
Investigate the vLLM integration code in FastChat, specifically the configuration and how it differs from offline vLLM inference. Compare the settings used in FastChat (e.g., in `fastchat/serve/vllm worker.py`) with the offline example. Check the documentation at `docs/vllm integration.md` for any missing flags. Look at the environment setup (e.g., CUDA, model loading) that might cause the performance gap. Also, search for similar issues in the FastChat repo for hints.