lm-sys/FastChat

support for 4bit quantization from transfomer library.

Open

#1798 aperta il 27 giu 2023

Vedi su GitHub
 (7 commenti) (2 reazioni) (0 assegnatari)Python (4736 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (38.959 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Loading a vicuna13B using 4bit quantization from the transformers library is possible load_in_4bit. How difficult could be for Fastach to support it?

Guida contributor

Direzione di ricerca
Indaga su come FastChat carica attualmente i modelli (ad esempio in model worker.py) e replica il parametro load in 4bit dalla libreria transformers. Rivedi la documentazione sulla quantizzazione di transformers linkata nell'issue per comprendere l'API. Controlla i commenti esistenti per eventuali spunti o blocchi. Implementa il parametro nella pipeline di caricamento del modello, garantendo la compatibilità con l'infrastruttura di servizio del modello esistente.
Tech stack
pythonpytorch
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchTransformers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60