Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

OVMS GPU Memory Allocation Issue - Crashes on model load

Abierto
  • ¿Algo no está bien?
#4,035 6 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
42/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
cpp
Área
machine-learning

Línea de trabajo

Empieza reproduciendo el fallo con el comando ovms.exe indicado, el modelo Qwen3-Coder-30B-A3B-Instruct-int4-ov y target_device GPU. Lee el registro 12900HK.txt enlazado junto con los errores de Intel GPU ProgramBuilder y de asignación de USM indicados, y compara después las ejecuciones en GPU y CPU. Se considera terminado cuando el modelo se carga en la iGPU de 12900HK sin un uso descontrolado de la memoria de la CPU ni un fallo.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug

Describe the bug
When attempting to load various models, OVMS has some type of runaway memory issue when attempting to use the GPU. For example attempting to load OpenVINO/Qwen3-Coder-30B-A3B-Instruct-int4-ov with the CPU flag works fine, CPU RAM usage is as expected and model functions correctly. Attempting to use the GPU the GPU RAM is not utilized, CPU RAM appears to fill instead until it far exceeds the model size and the system runs out of RAM crashing OVMS.

To Reproduce
Steps to reproduce the behavior:

  1. Use https://huggingface.co/OpenVINO/Qwen3-Coder-30B-A3B-Instruct-int4-ov
  2. .\ovms.exe --source_model OpenVINO/Qwen3-Coder-30B-A3B-Instruct-int4-ov --model_repository_path models --rest_port 8000 --task text_generation --target_device GPU --metrics_enable --log_level DEBUG
  3. Error: Exception from src\inference\src\dev\plugin.cpp:53:
    Check 'false' failed at src\plugins\intel_gpu\src\plugin\program_builder.cpp:163:
    [GPU] ProgramBuilder build failed!
    [CL ext] Can not allocate 402653184 bytes for USM Device. ptr: 0000000000000000, error: 0

Expected behavior
I would expect the model to be loaded into GPU memory and consume a parity level of memory as running on the CPU.

Logs
12900HK.txt

Configuration

  1. OVMS version: 2026
  2. OVMS config.json file: Default
  3. CPU, accelerator's versions if applicable: Attempting to run on the 12900HK iGPU
Image
  1. Model repository directory structure: Default from HF
  2. Model or publicly available similar model that reproduces the issue: https://huggingface.co/OpenVINO/Qwen3-Coder-30B-A3B-Instruct-int4-ov

Additional context
This is what it looks like in Task Manager

Image

Where as loading the model on the CPU uses a normal amount of RAM and performs as expected

Image

This also occurs with
OpenVINO/Qwen3-Coder-30B-A3B-Instruct-int4-ov
OpenVINO/gpt-oss-20b-int4-ov

Lenguaje dominante
C++
Estrellas
932
Forks
278
Merge medio
2 d 23 h
PR fusionados (30 d)
68

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de openvinotoolkit/model_server

Todos los issues de openvinotoolkit/model_server

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.