Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug] Vulkan ErrorOutOfDeviceMemory on Windows with AMD Radeon HD 8570 despite --gpu none

Đang mở
  • Có gì không ổn?
#1,073 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
docker
Lĩnh vực
ai, backend

Hướng nghiên cứu

Start by reproducing the issue with the listed docker model install-runner and docker model run commands, then trace how --gpu none is passed to the llama.cpp backend and how Vulkan initialization is selected. Done means the same model runs on CPU without Vulkan allocation or ErrorOutOfDeviceMemory on the reported AMD Windows environment.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Environment:

  • Windows 10 (26200)
  • Docker Desktop 4.92.0
  • GPU: AMD Radeon HD 8570 (1 GB VRAM)
  • Docker Model Runner: llama.cpp b9879-cpu

Problem:
Docker Model Runner tries to use Vulkan even when installed with --gpu none.
Models >= 1B parameters crash with ggml_vulkan: ErrorOutOfDeviceMemory.
Small model (smollm2:360M) runs but produces garbage output.

Steps to reproduce:

  1. docker model install-runner --backend llama.cpp --gpu none
  2. docker model run ai/gemma3:1B-Q4_K_M "Bonjour"
  3. Observe crash

Expected behavior:
Model should run on CPU when --gpu none is specified.

Actual behavior:
llama.cpp still attempts Vulkan allocation, fails, and aborts.

Error logs:
_layers already set by user to 999, abort
ggml_vulkan: Device memory allocation of size 57671680 failed.
ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory
llama_init_from_model: failed to initialize the context: failed to allocate buffer for kv cache

Note:
The environment variable DOCKER_MODEL_RUNNER_LLAMA_CPP_ARGS="--n-gpu-layers 0 --no-vulkan" did not resolve the issue.
Docker Desktop requirements list only NVIDIA GPUs for Windows (amd64), but the error suggests Vulkan is still being attempted on AMD hardware.

Ngôn ngữ chính
Go
Star
659
Fork
159
Merge trung bình
2 ngày 11 giờ
Pull request đã merge (30 ngày)
11

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của docker/model-runner

Tất cả issue của docker/model-runner

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.