lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Open

#1.744 geöffnet am 20. Juni 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (38.959 Stars) (4.736 Forks)batch import
good first issue

Beschreibung

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

Contributor Guide

Tech Stack
python
Domain
machine learning
Issue Type
bug
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
half day
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
needs maintainer response
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
Basic knowledge of FastChatMPS device setup
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30
Research-Richtung
The issue reports that fastchat t5-3b v1.0 fails on MPS GPU while CPU works. The error is likely in the model loading or device mapping code. Investigate the fastchat.serve.cli module and how it handles the device and load 8bit flags. The model may need specific quantization or MPS specific adjustments. Look for similar issues or patches in the FastChat repository. The user did not provide full error logs, so reproducing the error with the given commands is necessary.