lm-sys/FastChat

fastchat-t5-3b-v1.0 on macOS?

Open

#646 ouverte le 29 avr. 2023

Voir sur GitHub
 (15 commentaires) (7 réactions) (1 assigné)Python (4 736 forks)batch import
buggood first issue

Métriques du dépôt

Stars
 (38 959 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hi, I'm trying to use fastchat-t5-3b-v1.0 on macOS following the instructions in the README.

Simply run the line below to start chatting. It will automatically download the weights from a Hugging Face repo.
python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

When I do this, I get the error "Torch not compiled with CUDA enabled".

I added --device mps --load-8bit to run it as

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0 --device mps --load-8bit

And that gives a different error: "Unrecognized configuration class <class 'transformers.models.t5.configuration_t5.T5Config'> for this kind of AutoModel: AutoModelForCausalLM".

Is this usable without CUDA?

Guide contributeur

Direction de recherche
L'utilisateur signale que fastchat t5-3b v1.0 échoue sur macOS sans CUDA. L'ajout de device mps load 8bit entraîne une erreur de configuration avec AutoModelForCausalLM et la configuration T5. Un mainteneur doit vérifier si MPS est pris en charge et si la CLI gère correctement les modèles T5. Vérifiez le code de chargement du modèle et mettez éventuellement à jour la documentation pour clarifier la prise en charge de macOS.
Stack technique
pythonpytorch
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60