lm-sys/FastChat

Support fastchat-t5-3b-v1.0 on M2 GPU model

Open

#1744 aperta il 20 giu 2023

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (4736 fork)batch import
good first issue

Metriche repository

Star
 (38.959 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

CPU model working fine python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device cpu

GPU models both got errors python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps --load-8bit python -m fastchat.serve.cli --model-path /path/to/fastchat-t5-3b-v1.0 --device mps

So, does fastchat-t5-3b-v1.0 can running on Mac --device mps?

Guida contributor

Direzione di ricerca
Il problema segnala che fastchat t5-3b v1.0 fallisce su GPU MPS mentre funziona su CPU. L'errore è probabilmente nel codice di caricamento del modello o nel mapping dei dispositivi. Indaga il modulo fastchat.serve.cli e come gestisce i flag device e load 8bit. Il modello potrebbe richiedere specifiche quantizzazioni o adattamenti specifici per MPS. Cerca problemi o patch simili nel repository FastChat. L'utente non ha fornito log di errore completi, quindi è necessario riprodurre l'errore con i comandi indicati.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70