Any plans to add AutoGPTQ as a gptq load option?

Metriche repository

Star

38.959 stelle (38.959 stelle)

Metriche merge PR

Metriche PR in attesa (Metriche PR in attesa)

Descrizione

Guida contributor

Direzione di ricerca

Esamina la codebase di FastChat per comprendere come sono definite le opzioni di caricamento del modello, in particolare nel modulo di caricamento del modello. Fai riferimento alla libreria AutoGPTQ (https://github.com/PanQiWei/AutoGPTQ) e all'implementazione di esempio in text generation webui (collegata nell'issue). Indaga se esiste un pattern di integrazione esistente per i metodi di quantizzazione. Considera la creazione di una nuova classe di caricamento simile a quelle esistenti e testa con un modello locale.

Tech stack

python

Dominio

backend

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

2

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-3 ore

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

PythonGit

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

75