lm-sys/FastChat

Any plans to add AutoGPTQ as a gptq load option?

Open

#1.671 geöffnet am 12. Juni 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (38.959 Stars) (4.736 Forks)batch import
good first issue

Beschreibung

See: https://github.com/PanQiWei/AutoGPTQ/

For reference, text gen ui is using it here: https://github.com/oobabooga/text-generation-webui/blob/main/modules/AutoGPTQ_loader.py

Contributor Guide

Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
PythonPyTorchFamiliarity with model loading
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35
Research-Richtung
Examine the FastChat codebase to understand how model load options are defined, particularly in the model loading module. Refer to the AutoGPTQ library (https://github.com/PanQiWei/AutoGPTQ) and the example implementation in text generation webui (linked in the issue). Investigate if there is an existing integration pattern for quantization methods. Consider creating a new loader class similar to existing ones, and test with a local model.