[Bug] Vulkan ErrorOutOfDeviceMemory on Windows with AMD Radeon HD 8570 despite --gpu none
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start by reproducing the issue with the listed docker model install-runner and docker model run commands, then trace how --gpu none is passed to the llama.cpp backend and how Vulkan initialization is selected. Done means the same model runs on CPU without Vulkan allocation or ErrorOutOfDeviceMemory on the reported AMD Windows environment.
由索引模型根据 Issue 内容生成。
描述
Environment:
- Windows 10 (26200)
- Docker Desktop 4.92.0
- GPU: AMD Radeon HD 8570 (1 GB VRAM)
- Docker Model Runner: llama.cpp b9879-cpu
Problem:
Docker Model Runner tries to use Vulkan even when installed with --gpu none.
Models >= 1B parameters crash with ggml_vulkan: ErrorOutOfDeviceMemory.
Small model (smollm2:360M) runs but produces garbage output.
Steps to reproduce:
- docker model install-runner --backend llama.cpp --gpu none
- docker model run ai/gemma3:1B-Q4_K_M "Bonjour"
- Observe crash
Expected behavior:
Model should run on CPU when --gpu none is specified.
Actual behavior:
llama.cpp still attempts Vulkan allocation, fails, and aborts.
Error logs:
_layers already set by user to 999, abort
ggml_vulkan: Device memory allocation of size 57671680 failed.
ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory
llama_init_from_model: failed to initialize the context: failed to allocate buffer for kv cache
Note:
The environment variable DOCKER_MODEL_RUNNER_LLAMA_CPP_ARGS="--n-gpu-layers 0 --no-vulkan" did not resolve the issue.
Docker Desktop requirements list only NVIDIA GPUs for Windows (amd64), but the error suggests Vulkan is still being attempted on AMD hardware.
- 主要语言
- Go
- 星标
- 659
- 派生
- 159
- 平均合并
- 2 天 3 小时
- 30 天内合并 PR
- 13
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
docker/model-runner 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 45/100
docker/model-runner#1077 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 68/100
docker/model-runner#1063 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 42/100
docker/model-runner#1059 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 45/100
docker/model-runner#1058 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
docker/model-runner#1056 · 1 条评论 ·
维护者通常 1 天内回复
查看 docker/model-runner 的全部 Issue
相似的 Issue
-
good first issue help wanted v3
难度 2/5 1-3 小时 新手友好度 77/100
oras-project/oras-go#1621 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 80/100
维护者通常 4 天内回复
-
Chained slog With calls discard previously bound attributes可能已有人在做 @yuefdev 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
[scanner] TestAgentNowLineStates hard-fails instead of degrading when node is off PATH可能已有人在做 @arteeh 今天认领。 未关闭agent/scanner ci help wanted kind/test
难度 1/5 1 小时以内 新手友好度 90/100
hivecommons/hive#12924 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
Gentleman-Programming/engram#1940 ·
维护者通常 1 天内回复