Any plans to add AutoGPTQ as a gptq load option?

Repository-Metriken

Stars

38.959 Sterne (38.959 Sterne)

PR-Merge-Metriken

PR-Metriken ausstehend (PR-Metriken ausstehend)

Beschreibung

Contributor Guide

Research-Richtung

Untersuche die FastChat Codebasis, um zu verstehen, wie Modellladeparameter definiert sind, insbesondere im Modelllademodul. Beziehe dich auf die AutoGPTQ Bibliothek (https://github.com/PanQiWei/AutoGPTQ) und die Beispielimplementierung in text generation webui (im Issue verlinkt). Untersuche, ob ein bestehendes Integrationsmuster für Quantisierungsmethoden existiert. Erwäge die Erstellung einer neuen Ladeklasse ähnlich den bestehenden und teste sie mit einem lokalen Modell.

Tech Stack

python

Domain

backend

Issue Type

Funktion

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

2

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

1-3 Stunden

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

Aktiv

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

Klar

Voraussetzungen

PythonGit

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

75