vehicle-detection-0202 responds to queries when running on CPU, gives an error when running on GPU
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Ambito
- backend, machine-learning
Direzione di ricerca
Non sono indicati file, test o punti di ingresso. Inizia riproducendo la stessa richiesta vehicle-detection-0202 in OVMS con il modello openvino_ir su CPU e GPU, quindi confronta i valori di output e i log del server. Il lavoro è completato quando hai identificato perché l’inferenza sulla GPU produce -Inf o NaN e hai confermato risposte valide per entrambi i dispositivi.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am using the model vehicle-detection-0202 in its openvino_ir format running in a OVMS environment, however when I try to send requests to the model running on a CPU I can get back the expected response, e.g.
{
"model_name": "my-model",
"model_version": "1",
"outputs": [{
"name": "detection_out",
"shape": [1, 1, 200, 7],
"datatype": "FP32",
"data": [0.0, ..., data, ..., 0.0]
}]
}
If I instead try to send a request to the model running on a GPU I keep getting error messages like the following:
{"code":2,"message":"json: unsupported value: -Inf"}
(Sometimes instead of -Inf the value is NaN). I don't quite understand what I'm doing wrong, as the requests are in the same format and the data has all the same attributes. Any idea what's going on?
- Lingua principale
- C++
- Stelle
- 947
- Fork
- 280
- Merge medio
- 3g 14h
- PR unite (30g)
- 46
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openvinotoolkit/model_server
-
Rerank with an empty documents array or object documents fails with an internal tokenizer errorForse già presa @Daksha1611 l’ha presa 2 giorni fa. Aperta
Difficoltà 4/5 1-2 giorni Idoneità per principianti 24/100
openvinotoolkit/model_server#4671 ·
I maintainer di solito rispondono entro 3 giorni
-
Downloading an image from a URL has no timeoutForse già presa @Daksha1611 l’ha presa 2 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
openvinotoolkit/model_server#4669 ·
I maintainer di solito rispondono entro 3 giorni
-
max_tokens and best_of reject a value equal to their configured limitForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
openvinotoolkit/model_server#4666 ·
I maintainer di solito rispondono entro 3 giorni
-
/v1/tokenize returns a flat list when the text array holds a single stringForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openvinotoolkit/model_server#4664 ·
I maintainer di solito rispondono entro 3 giorni
-
String-typed tool call arguments are rewritten when the text is valid JSONForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openvinotoolkit/model_server#4662 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di openvinotoolkit/model_server
Issue simili
-
[WinReg] update to v12.0.0Apertacategory:port-update
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 2 giorni
-
(S1 - Need confirmation)
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
CleverRaven/Cataclysm-DDA#89194 ·
I maintainer di solito rispondono entro 1 giorno
-
reproduced
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 67/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
moonshine-ai/moonshine#231 ·