vehicle-detection-0202 responds to queries when running on CPU, gives an error when running on GPU
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Área
- backend, machine-learning
Línea de trabajo
No se nombran archivos, pruebas ni puntos de entrada. Empieza por reproducir la misma solicitud vehicle-detection-0202 en OVMS con el modelo openvino_ir en CPU y GPU, y después compara los valores de salida y los registros del servidor. Se considera terminado cuando se haya identificado por qué la inferencia en GPU produce -Inf o NaN y se hayan confirmado respuestas válidas para ambos dispositivos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I am using the model vehicle-detection-0202 in its openvino_ir format running in a OVMS environment, however when I try to send requests to the model running on a CPU I can get back the expected response, e.g.
{
"model_name": "my-model",
"model_version": "1",
"outputs": [{
"name": "detection_out",
"shape": [1, 1, 200, 7],
"datatype": "FP32",
"data": [0.0, ..., data, ..., 0.0]
}]
}
If I instead try to send a request to the model running on a GPU I keep getting error messages like the following:
{"code":2,"message":"json: unsupported value: -Inf"}
(Sometimes instead of -Inf the value is NaN). I don't quite understand what I'm doing wrong, as the requests are in the same format and the data has all the same attributes. Any idea what's going on?
- Lenguaje dominante
- C++
- Estrellas
- 932
- Forks
- 278
- Merge medio
- 2 d 23 h
- PR fusionados (30 d)
- 68
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de openvinotoolkit/model_server
-
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
openvinotoolkit/model_server#4613 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
openvinotoolkit/model_server#4609 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
`/v3/models` lists every model twice when `group_name` and `--idle_unload_timeout_seconds` are combinedPosiblemente ocupada @atobiszei la tomó hace 4 días. Abierto
openvinotoolkit/model_server#4604 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Idle unload never happens again if the client disconnects while a sleeping graph is waking upPosiblemente ocupada @atobiszei la tomó hace 4 días. Abierto
openvinotoolkit/model_server#4603 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
openvinotoolkit/model_server#4599 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de openvinotoolkit/model_server
Issues similares
-
Dificultad 2/5 Medio día Aptitud para principiantes 84/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
ROCm/rocm-libraries#12703 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
isl-org/Open3D#7585 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
Feature request
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
qbittorrent/qBittorrent#24975 ·
Los mantenedores suelen responder en 3 días