unslothai/unsloth

[Feature] Draft model / speculative decoding

Chiusa

#4753 aperta il 1 apr 2026

Vedi su GitHubGuida contributor
 (4 commenti) (2 reazioni) (0 assegnatari)Python (5658 fork)batch import
feature requestgood first issuehelp wanted

Metriche repository

Star
 (64.271 stelle)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Can we have the possibility to select draft model in ui? Seems like an important feature, I wonder how fast would Qwen3.5 27b be if I used Qwen3.5 0.8b as draft model.

Guida contributor

Direzione di ricerca
Esplora l'implementazione esistente di decodifica speculativa nel backend e aggiungi un interruttore UI per selezionare un modello bozza.
Tech stack
python
Dominio
frontend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonUI
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50