lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Open

#1.744 aberto em 20 de jun. de 2023

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Python (38.959 stars) (4.736 forks)batch import
good first issue

Description

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

Guia do colaborador

Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
needs maintainer response
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
Basic knowledge of FastChatMPS device setup
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30
Direção de pesquisa
The issue reports that fastchat t5-3b v1.0 fails on MPS GPU while CPU works. The error is likely in the model loading or device mapping code. Investigate the fastchat.serve.cli module and how it handles the device and load 8bit flags. The model may need specific quantization or MPS specific adjustments. Look for similar issues or patches in the FastChat repository. The user did not provide full error logs, so reproducing the error with the given commands is necessary.