lm-sys/FastChat

Issues with VLLM Integration Speedup

オープン

#2,362 opened on 2023/09/05

GitHub で見る
 (4 件のコメント) (0 件のリアクション) (0 人の担当者)Python (4,736 件のフォーク)batch import
good first issue

Repository metrics

Stars
 (38,959 個のスター)
PR merge metrics
 (PR metrics pending)

説明

Hello,

I've been trying to work with the [vLLM integration] and I'm facing some performance discrepancies. According to the documentation, I should achieve a significant speedup, but in my tests, I'm seeing different results:

Directly running with FastChat: 16 t/s Using the VLLM integration: 25 t/s (only 1.5x speedup) VLLM offline inference: 90 t/s (expected 6x speedup) I'm running Vicuna33b on a gin H100 gpu. Has anyone experienced this before? Are there any additional configurations or tweaks I might be missing to get the desired speedup?

Thanks in advance for any guidance or advice!

コントリビューターガイド

調査方針
FastChat統合とオフラインvLLM推論で使用される設定を比較してください。FastChatが異なるバッチサイズ、モデル読み込みパラメータ、トークナイザ設定を使用してオーバーヘッドを引き起こしていないか確認してください。また、同じモデルバージョンとGPU設定が使用されていることを確認してください。
技術スタック
python
領域
backend
Issue 種別
バグ
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
おおむね明確
前提条件
PythonvLLM
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
65