CPU_RUNTIME_CACHE_CAPACITY is unsupported in OVMS plugin_config but works in raw OpenVINO Runtime
I maintainer di solito rispondono entro 3 giorni
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
Direzione di ricerca
Non viene indicato alcun file di implementazione né alcun test. Inizia tracciando la gestione della configurazione del modello OVMS per il blocco plugin_config e la validazione delle chiavi di configurazione supportate per il dispositivo CPU, quindi confrontala con il comportamento diretto di OpenVINO Runtime descritto qui. Il lavoro sarà completato quando sarà stato stabilito un modo supportato per impostare CPU_RUNTIME_CACHE_CAPACITY su 0 in OVMS e il risultato sarà coperto da un test appropriato o da una limitazione documentata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
The config key CPU_RUNTIME_CACHE_CAPACITY is valid and functional when used directly with OpenVINO Runtime:
config = {
"CPU_RUNTIME_CACHE_CAPACITY": "0",
"PERFORMANCE_HINT": "THROUGHPUT"
}
However, if I put this key inside the plugin_config block of OVMS model config JSON, the server fails to start and throws an error log in terminal:
CPU_RUNTIME_CACHE_CAPACITY not found in supported config keys for device: CPU.
OVMS config snippet I used:
"config": {
"name": "vocos",
"base_path": "./models/vocos",
"target_device": "CPU",
"plugin_config": {
"CPU_RUNTIME_CACHE_CAPACITY": "0",
"PERFORMANCE_HINT": "THROUGHPUT"
}
}
Is there an equivalent supported configuration in OVMS to disable the CPU runtime cache (set CPU_RUNTIME_CACHE_CAPACITY to 0)?
- Lingua principale
- C++
- Stelle
- 947
- Fork
- 280
- Merge medio
- 3g 14h
- PR unite (30g)
- 46
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openvinotoolkit/model_server
-
Rerank with an empty documents array or object documents fails with an internal tokenizer errorForse già presa @Daksha1611 l’ha presa 2 giorni fa. Aperta
Difficoltà 4/5 1-2 giorni Idoneità per principianti 24/100
openvinotoolkit/model_server#4671 ·
I maintainer di solito rispondono entro 3 giorni
-
Downloading an image from a URL has no timeoutForse già presa @Daksha1611 l’ha presa 2 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
openvinotoolkit/model_server#4669 ·
I maintainer di solito rispondono entro 3 giorni
-
max_tokens and best_of reject a value equal to their configured limitForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
openvinotoolkit/model_server#4666 ·
I maintainer di solito rispondono entro 3 giorni
-
/v1/tokenize returns a flat list when the text array holds a single stringForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openvinotoolkit/model_server#4664 ·
I maintainer di solito rispondono entro 3 giorni
-
String-typed tool call arguments are rewritten when the text is valid JSONForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openvinotoolkit/model_server#4662 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di openvinotoolkit/model_server
Issue simili
-
[WinReg] update to v12.0.0Apertacategory:port-update
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 2 giorni
-
(S1 - Need confirmation)
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
CleverRaven/Cataclysm-DDA#89194 ·
I maintainer di solito rispondono entro 1 giorno
-
reproduced
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 67/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
moonshine-ai/moonshine#231 ·