lm-sys/FastChat

Any plans to add AutoGPTQ as a gptq load option?

Open

#1.671 geöffnet am 12. Juni 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (4.736 Forks)batch import
good first issue

Repository-Metriken

Stars
 (38.959 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

See: https://github.com/PanQiWei/AutoGPTQ/

For reference, text gen ui is using it here: https://github.com/oobabooga/text-generation-webui/blob/main/modules/AutoGPTQ_loader.py

Contributor Guide

Research-Richtung
Untersuche die FastChat Codebasis, um zu verstehen, wie Modellladeparameter definiert sind, insbesondere im Modelllademodul. Beziehe dich auf die AutoGPTQ Bibliothek (https://github.com/PanQiWei/AutoGPTQ) und die Beispielimplementierung in text generation webui (im Issue verlinkt). Untersuche, ob ein bestehendes Integrationsmuster für Quantisierungsmethoden existiert. Erwäge die Erstellung einer neuen Ladeklasse ähnlich den bestehenden und teste sie mit einem lokalen Modell.
Tech Stack
python
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75