lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Aberta

#1.744 aberto em 20 de jun. de 2023

Ver no GitHub
 (1 comentário) (0 reação) (0 responsável)Python (4.736 forks)batch import
good first issue

Métricas do repositório

Stars
 (38.959 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

Guia do colaborador

Direção de pesquisa
O problema relata que fastchat t5-3b v1.0 falha na GPU MPS enquanto funciona na CPU. O erro provavelmente está no código de carregamento do modelo ou no mapeamento de dispositivos. Investigue o módulo fastchat.serve.cli e como ele lida com os sinalizadores device e load 8bit. O modelo pode precisar de ajustes específicos de quantização ou específicos para MPS. Procure por problemas ou patches semelhantes no repositório FastChat. O usuário não forneceu logs de erro completos, portanto é necessário reproduzir o erro com os comandos fornecidos.
Pilha de tecnologia
pythonpytorch
Domain
backendmachine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70