lm-sys/FastChat

support for 4bit quantization from transfomer library.

Open

#1.798 aberto em 27 de jun. de 2023

Ver no GitHub
 (7 comments) (2 reactions) (0 assignees)Python (4.736 forks)batch import
enhancementgood first issue

Métricas do repositório

Stars
 (38.959 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Loading a vicuna13B using 4bit quantization from the transformers library is possible load_in_4bit. How difficult could be for Fastach to support it?

Guia do colaborador

Direção de pesquisa
Investigue como o FastChat atualmente carrega modelos (por exemplo, em model worker.py) e replique o parâmetro load in 4bit da biblioteca transformers. Revise a documentação de quantização do transformers vinculada na issue para entender a API. Verifique os comentários existentes para quaisquer insights ou bloqueios. Implemente o parâmetro no pipeline de carregamento do modelo, garantindo compatibilidade com a infraestrutura de serviço de modelo existente.
Pilha de tecnologia
pythonpytorch
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchTransformers
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60