unslothai/unsloth

Notebook to show vLLM inference

Fermée

#755 ouverte le 10 juil. 2024

Voir sur GitHubGuide contributeur
 (9 commentaires) (4 réactions) (0 personne assignée)Python (5 658 forks)batch import
currently fixinggood first issue

Métriques du dépôt

Stars
 (64 271 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

It would have been nice if there were some inference examples like vLLM. So that we know how exactly model inferencing is working.

Guide contributeur

Direction de recherche
Examinez le style et la structure des notebooks unsloth existants dans le dépôt. Comprenez le flux de travail d'inférence vLLM et comment charger les modèles unsloth dans vLLM. Vérifiez les commentaires de l'issue pour toute exigence spécifique des mainteneurs, puis créez un notebook Jupyter démontrant l'inférence sur un modèle affiné avec unsloth en utilisant vLLM.
Stack technique
python
Domaine
machine learningdocumentation
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python programmingBasic understanding of unslothBasic understanding of vLLM
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
85