lm-sys/FastChat

support for 4bit quantization from transfomer library.

Open

#1 798 ouverte le 27 juin 2023

Voir sur GitHub
 (7 commentaires) (2 réactions) (0 assignés)Python (4 736 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (38 959 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Loading a vicuna13B using 4bit quantization from the transformers library is possible load_in_4bit. How difficult could be for Fastach to support it?

Guide contributeur

Direction de recherche
Étudiez comment FastChat charge actuellement les modèles (par exemple dans model worker.py) et reproduisez le paramètre load in 4bit de la bibliothèque transformers. Consultez la documentation de quantification de transformers liée dans l'issue pour comprendre l'API. Vérifiez les commentaires existants pour toute information ou blocage. Implémentez le paramètre dans le pipeline de chargement du modèle, en assurant la compatibilité avec l'infrastructure de service de modèle existante.
Stack technique
pythonpytorch
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorchTransformers
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60