unslothai/unsloth

Notebook to show vLLM inference

Chiusa

#755 aperta il 10 lug 2024

Vedi su GitHubGuida contributor
 (9 commenti) (4 reazioni) (0 assegnatari)Python (5658 fork)batch import
currently fixinggood first issue

Metriche repository

Star
 (64.271 stelle)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

It would have been nice if there were some inference examples like vLLM. So that we know how exactly model inferencing is working.

Guida contributor

Direzione di ricerca
Esamina lo stile e la struttura dei notebook unsloth esistenti nel repository. Comprendi il flusso di lavoro di inferenza vLLM e come caricare i modelli unsloth in vLLM. Controlla i commenti dell'issue per eventuali requisiti specifici dei manutentori, quindi crea un notebook Jupyter che dimostri l'inferenza su un modello messo a punto con unsloth utilizzando vLLM.
Tech stack
python
Dominio
machine learningdocumentation
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python programmingBasic understanding of unslothBasic understanding of vLLM
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
85