lm-sys/FastChat

Any plans to add AutoGPTQ as a gptq load option?

Open

#1671 aperta il 12 giu 2023

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (4736 fork)batch import
good first issue

Metriche repository

Star
 (38.959 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

See: https://github.com/PanQiWei/AutoGPTQ/

For reference, text gen ui is using it here: https://github.com/oobabooga/text-generation-webui/blob/main/modules/AutoGPTQ_loader.py

Guida contributor

Direzione di ricerca
Esamina la codebase di FastChat per comprendere come sono definite le opzioni di caricamento del modello, in particolare nel modulo di caricamento del modello. Fai riferimento alla libreria AutoGPTQ (https://github.com/PanQiWei/AutoGPTQ) e all'implementazione di esempio in text generation webui (collegata nell'issue). Indaga se esiste un pattern di integrazione esistente per i metodi di quantizzazione. Considera la creazione di una nuova classe di caricamento simile a quelle esistenti e testa con un modello locale.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75