lm-sys/FastChat

Issues with VLLM Integration Speedup

Ouverte

#2 362 ouverte le 5 sept. 2023

Voir sur GitHub
 (4 commentaires) (0 réaction) (0 personne assignée)Python (4 736 forks)batch import
good first issue

Métriques du dépôt

Stars
 (38 959 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Hello,

I've been trying to work with the [vLLM integration] and I'm facing some performance discrepancies. According to the documentation, I should achieve a significant speedup, but in my tests, I'm seeing different results:

Directly running with FastChat: 16 t/s Using the VLLM integration: 25 t/s (only 1.5x speedup) VLLM offline inference: 90 t/s (expected 6x speedup) I'm running Vicuna33b on a gin H100 gpu. Has anyone experienced this before? Are there any additional configurations or tweaks I might be missing to get the desired speedup?

Thanks in advance for any guidance or advice!

Guide contributeur

Direction de recherche
Comparez la configuration utilisée dans l'intégration FastChat par rapport à l'inférence hors ligne vLLM. Vérifiez si FastChat utilise des tailles de lot, des paramètres de chargement de modèle ou des paramètres de tokenizer différents qui pourraient entraîner une surcharge. Assurez vous également que la même version du modèle et les mêmes paramètres GPU sont utilisés.
Stack technique
python
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonvLLM
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65