lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Open

#1 744 ouverte le 20 juin 2023

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (38 959 stars) (4 736 forks)batch import
good first issue

Description

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

Guide contributeur

Stack technique
python
Domaine
machine learning
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
half day
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
needs maintainer response
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
Basic knowledge of FastChatMPS device setup
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30
Direction de recherche
The issue reports that fastchat t5-3b v1.0 fails on MPS GPU while CPU works. The error is likely in the model loading or device mapping code. Investigate the fastchat.serve.cli module and how it handles the device and load 8bit flags. The model may need specific quantization or MPS specific adjustments. Look for similar issues or patches in the FastChat repository. The user did not provide full error logs, so reproducing the error with the given commands is necessary.