lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Open

#1,744 opened on 2023年6月20日

GitHub で見る
 (1 comment) (0 reactions) (0 assignees)Python (4,736 forks)batch import
good first issue

Repository metrics

Stars
 (38,959 stars)
PR merge metrics
 (30d に merged PR はありません)

説明

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

コントリビューターガイド

調査方針
この問題は、fastchat t5-3b v1.0 が MPS GPU で失敗し、CPU では正常に動作すると報告しています。エラーはモデルの読み込みまたはデバイスマッピングコードにある可能性があります。fastchat.serve.cli モジュールと、 device および load 8bit フラグの処理方法を調査してください。このモデルには特定の量子化または MPS 固有の調整が必要かもしれません。FastChat リポジトリで同様の問題やパッチを探してください。ユーザーは完全なエラーログを提供していないため、指定されたコマンドでエラーを再現する必要があります。
技術スタック
pythonpytorch
領域
backendmachine learning
Issue 種別
バグ
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
PythonPyTorchGit
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
70