lm-sys/FastChat

fastchat-t5-3b-v1.0 on macOS?

Open

#646 geöffnet am 29. Apr. 2023

Auf GitHub ansehen
 (15 Kommentare) (7 Reaktionen) (1 zugewiesene Person)Python (4.736 Forks)batch import
buggood first issue

Repository-Metriken

Stars
 (38.959 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hi, I'm trying to use fastchat-t5-3b-v1.0 on macOS following the instructions in the README.

Simply run the line below to start chatting. It will automatically download the weights from a Hugging Face repo.
python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

When I do this, I get the error "Torch not compiled with CUDA enabled".

I added --device mps --load-8bit to run it as

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0 --device mps --load-8bit

And that gives a different error: "Unrecognized configuration class <class 'transformers.models.t5.configuration_t5.T5Config'> for this kind of AutoModel: AutoModelForCausalLM".

Is this usable without CUDA?

Contributor Guide

Research-Richtung
Der Benutzer meldet, dass fastchat t5-3b v1.0 unter macOS ohne CUDA fehlschlägt. Das Hinzufügen von device mps load 8bit führt zu einem Konfigurationsfehler mit AutoModelForCausalLM und der T5 Konfiguration. Ein Maintainer sollte überprüfen, ob MPS unterstützt wird und ob die CLI T5 Modelle korrekt verarbeitet. Überprüfen Sie den Modellladecode und aktualisieren Sie möglicherweise die Dokumentation, um die macOS Unterstützung zu klären.
Tech Stack
pythonpytorch
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60