lm-sys/FastChat

Any plans to add AutoGPTQ as a gptq load option?

Open

#1.671 aberto em 12 de jun. de 2023

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Python (38.959 stars) (4.736 forks)batch import
good first issue

Description

See: https://github.com/PanQiWei/AutoGPTQ/

For reference, text gen ui is using it here: https://github.com/oobabooga/text-generation-webui/blob/main/modules/AutoGPTQ_loader.py

Guia do colaborador

Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 days
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
PythonPyTorchFamiliarity with model loading
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
35
Direção de pesquisa
Examine the FastChat codebase to understand how model load options are defined, particularly in the model loading module. Refer to the AutoGPTQ library (https://github.com/PanQiWei/AutoGPTQ) and the example implementation in text generation webui (linked in the issue). Investigate if there is an existing integration pattern for quantization methods. Consider creating a new loader class similar to existing ones, and test with a local model.