lm-sys/FastChat

fastchat-t5-3b-v1.0 on macOS?

Open

#646 aberto em 29 de abr. de 2023

Ver no GitHub
 (15 comments) (7 reactions) (1 assignee)Python (4.736 forks)batch import
buggood first issue

Métricas do repositório

Stars
 (38.959 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi, I'm trying to use fastchat-t5-3b-v1.0 on macOS following the instructions in the README.

Simply run the line below to start chatting. It will automatically download the weights from a Hugging Face repo.
python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

When I do this, I get the error "Torch not compiled with CUDA enabled".

I added --device mps --load-8bit to run it as

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0 --device mps --load-8bit

And that gives a different error: "Unrecognized configuration class <class 'transformers.models.t5.configuration_t5.T5Config'> for this kind of AutoModel: AutoModelForCausalLM".

Is this usable without CUDA?

Guia do colaborador

Direção de pesquisa
O usuário relata que fastchat t5-3b v1.0 falha no macOS sem CUDA. Adicionar device mps load 8bit leva a um erro de configuração com AutoModelForCausalLM e a configuração T5. Um mantenedor deve verificar se o MPS é suportado e se a CLI lida corretamente com os modelos T5. Verifique o código de carregamento do modelo e possivelmente atualize a documentação para esclarecer o suporte ao macOS.
Pilha de tecnologia
pythonpytorch
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60