lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Open

#1.744 geöffnet am 20. Juni 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (4.736 Forks)batch import
good first issue

Repository-Metriken

Stars
 (38.959 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

Contributor Guide

Research-Richtung
Das Problem meldet, dass fastchat t5-3b v1.0 auf MPS GPU fehlschlägt, während es auf der CPU funktioniert. Der Fehler liegt wahrscheinlich im Modellladecode oder in der Gerätezuordnung. Untersuchen Sie das Modul fastchat.serve.cli und wie es mit den Flags device und load 8bit umgeht. Das Modell benötigt möglicherweise spezifische Quantisierung oder MPS spezifische Anpassungen. Suchen Sie nach ähnlichen Problemen oder Patches im FastChat Repository. Der Benutzer hat keine vollständigen Fehlerprotokolle bereitgestellt, daher ist es notwendig, den Fehler mit den angegebenen Befehlen zu reproduzieren.
Tech Stack
pythonpytorch
Domain
backendmachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70