More granular selection of which hardware to use for what task
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 30/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- ai, backend-api-design
Direzione di ricerca
L’issue non indica file, test o punti di ingresso. Inizia individuando i punti di ingresso dell’SDK per l’avvio del modello e la configurazione dell’inferenza, quindi determina se è supportato un posizionamento separato su CPU/GPU per l’elaborazione di Main, Speculative e Context; il lavoro sarebbe considerato completato se includesse i controlli di posizionamento richiesti e la diagnostica di Speculative Decoding, oppure un sottoinsieme chiaramente delimitato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Would it be possible to add a way to launch/use a model with this configuration?
- Run Main Model inference on CPU (RAM)
- Run Speculative Model on CPU (RAM)
- Run initial context processing on GPU, then move it to CPU (RAM) as well (or only leave this on the GPU if that wouldn’t work)
- Same for the Speculative Model; however, its context size and potential speedup of computation is (probably) negligible.
I am asking because in my testing the speed is fine when running everything on CPU (RAM), including speculative decoding—except for the initial context processing. This step requires a relatively low amount of VRAM but is orders of magnitude faster when computed on the GPU.
Also, as a somewhat unrelated sidenote: I am achieving much higher speeds with these speculative decoding settings (using llama 3.3 70B Q4_K_M with llama 3.2 1B Q8_0, with similar results for other main model sizes):
- Probability: 0.9
- Min: 0
- Max: 5
- Tokens matched: ≥ ~35%
- Speedup: ~1.33x
It would be handy if you could further display all tokens for speculative decoding—both those wasted and those used—along with their respective probabilities, in some kind of debug view to fine-tune the process. Alternatively, an adaptive algorithm could be implemented to determine the best settings either during runtime or as an initial evaluation.
- Lingua principale
- Python
- Stelle
- 885
- Fork
- 168
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lmstudio-ai/lmstudio-python
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
lmstudio-ai/lmstudio-python#186 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
lmstudio-ai/lmstudio-python#184 ·
-
Reasoning parametersAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
lmstudio-ai/lmstudio-python#183 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
lmstudio-ai/lmstudio-python#182 · 1 reazione ·
-
error code: 502Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100
lmstudio-ai/lmstudio-python#180 ·
Tutte le issue di lmstudio-ai/lmstudio-python
Issue simili
-
[Bug]: Revit selector reads process ids 2000-2099 as years (flaky AgentClientTests.AYearOrAProcessIdSelectsTheHost)Forse già presa @Wurschdhaud l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
pyrevitlabs/pyRevit#3817 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
521xueweihan/HelloGitHub#4074 ·
-
follow-up
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
Helm chart: allow setting ingressClassName on the IngressForse già presa @commarla l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
pgadmin-org/pgadmin4#10658 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100