lm-sys/FastChat

Issues with VLLM Integration Speedup

Open

#2.362 aberto em 5 de set. de 2023

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Python (4.736 forks)batch import
good first issue

Métricas do repositório

Stars
 (38.959 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hello,

I've been trying to work with the [vLLM integration] and I'm facing some performance discrepancies. According to the documentation, I should achieve a significant speedup, but in my tests, I'm seeing different results:

Directly running with FastChat: 16 t/s Using the VLLM integration: 25 t/s (only 1.5x speedup) VLLM offline inference: 90 t/s (expected 6x speedup) I'm running Vicuna33b on a gin H100 gpu. Has anyone experienced this before? Are there any additional configurations or tweaks I might be missing to get the desired speedup?

Thanks in advance for any guidance or advice!

Guia do colaborador

Direção de pesquisa
Compare a configuração usada na integração FastChat versus a inferência offline vLLM. Verifique se o FastChat está usando tamanhos de lote, parâmetros de carregamento do modelo ou configurações do tokenizer diferentes que possam causar sobrecarga. Além disso, confirme que a mesma versão do modelo e configurações de GPU estão sendo usadas.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonvLLM
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65