[Bug] Vulkan ErrorOutOfDeviceMemory on Windows with AMD Radeon HD 8570 despite --gpu none
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
Línea de trabajo
Start by reproducing the issue with the listed docker model install-runner and docker model run commands, then trace how --gpu none is passed to the llama.cpp backend and how Vulkan initialization is selected. Done means the same model runs on CPU without Vulkan allocation or ErrorOutOfDeviceMemory on the reported AMD Windows environment.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Environment:
- Windows 10 (26200)
- Docker Desktop 4.92.0
- GPU: AMD Radeon HD 8570 (1 GB VRAM)
- Docker Model Runner: llama.cpp b9879-cpu
Problem:
Docker Model Runner tries to use Vulkan even when installed with --gpu none.
Models >= 1B parameters crash with ggml_vulkan: ErrorOutOfDeviceMemory.
Small model (smollm2:360M) runs but produces garbage output.
Steps to reproduce:
- docker model install-runner --backend llama.cpp --gpu none
- docker model run ai/gemma3:1B-Q4_K_M "Bonjour"
- Observe crash
Expected behavior:
Model should run on CPU when --gpu none is specified.
Actual behavior:
llama.cpp still attempts Vulkan allocation, fails, and aborts.
Error logs:
_layers already set by user to 999, abort
ggml_vulkan: Device memory allocation of size 57671680 failed.
ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory
llama_init_from_model: failed to initialize the context: failed to allocate buffer for kv cache
Note:
The environment variable DOCKER_MODEL_RUNNER_LLAMA_CPP_ARGS="--n-gpu-layers 0 --no-vulkan" did not resolve the issue.
Docker Desktop requirements list only NVIDIA GPUs for Windows (amd64), but the error suggests Vulkan is still being attempted on AMD hardware.
- Lenguaje dominante
- Go
- Estrellas
- 657
- Forks
- 158
- Merge medio
- 2 d 11 h
- PR fusionados (30 d)
- 11
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de docker/model-runner
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
docker/model-runner#1077 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 68/100
docker/model-runner#1063 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
docker/model-runner#1059 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
docker/model-runner#1058 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
docker/model-runner#1056 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de docker/model-runner
Issues similares
-
Say in the changelog that the text-index update cannot be rolled backPosiblemente ocupada @praetorianer777 la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
praetorianer777/GoTome#275 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
SAP/crossplane-provider-btp#1118 ·
Los mantenedores suelen responder en 1 día
-
benchmark: `make setup` fails because audit-exporter builds with Go 1.25.0 while go.mod requires 1.26.0Posiblemente ocupada @xsvm la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
volcano-sh/volcano#6097 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
area/infra backlog bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
praetorianer777/Stator#417 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día