Return peak memory used in the stats
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia individuando la risposta stats dell'SDK e il modo in cui LM Studio espone le metriche di memoria del modello. Determina se la memoria di picco è disponibile tramite l'API, quindi aggiungila agli stats e ai test restituiti; il lavoro è completato quando i chiamanti possono leggere l'utilizzo di memoria di picco senza conteggiare processi LM Studio non correlati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
LMStudio already reports memory usage for models in the UI. Is it possible to return peak memory usage in the stats? It would be useful to know whether inference would fit on local machines.
Main reason I'm asking is that I'm benchmarking LMStudio vs MLX, and counting LMStudio-related process gives a distorted view of reality:
Thanks!
- Lingua principale
- Python
- Stelle
- 881
- Fork
- 166
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lmstudio-ai/lmstudio-python
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
lmstudio-ai/lmstudio-python#186 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
lmstudio-ai/lmstudio-python#184 ·
-
Reasoning parametersAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
lmstudio-ai/lmstudio-python#183 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
lmstudio-ai/lmstudio-python#182 · 1 reazione ·
-
error code: 502Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100
lmstudio-ai/lmstudio-python#180 ·
Tutte le issue di lmstudio-ai/lmstudio-python
Issue simili
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
I maintainer di solito rispondono entro 1 giorno
-
good first issue module-baseline needs triage ux
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
darnitdevorg/darnit#650 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
nyjc-computing/campus#938 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
nf-osi/nf-metadata-dictionary#1027 ·
I maintainer di solito rispondono entro 1 giorno
-
bug documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
qatrackplus/qatrackplus#913 ·
I maintainer di solito rispondono entro 3 giorni