OVMS requiring manual WEIGHTS_PATH
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- cpp
- Lĩnh vực
- backend, machine-learning
Hướng nghiên cứu
Tái hiện lỗi bằng lệnh Podman trong issue, sau đó truy vết quá trình khởi tạo qua servable_initializer.cpp và llm_node_initializer.cpp đến bước kiểm tra weights_path được báo cáo trong intel_gpu/src/plugin/ops/moe.cpp. Xác định lý do model này đi đến bước biên dịch mà không có weights path; được xem là hoàn tất khi cùng lệnh đó tải được model mà không cần thêm WEIGHTS_PATH thủ công và bài kiểm thử khởi tạo liên quan hoặc việc tái hiện thành công.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Describe the bug
A clear and concise description of what the bug is.
To Reproduce
Steps to reproduce the behavior:
podman run --interactive --tty --publish=1235:8080 --volume=/home/davi/AI/models/:/models/ --device=/dev/dri/renderD128 --user=root docker.io/openvino/model_server:2026.4.0-gpu --rest_port 8080 --model_repository_path /models/ --source_model OpenVINO/Qwen3.6-35B-A3B-int4-ov --target_device GPU --task text_generation --kv_cache_precision u8 --plugin_config '{"OFFLOAD_RATIO": 1}' --max_num_batched_tokens 4000- See error
Expected behavior
WEIGHTS_PATH should not be required to be manually added
Logs
davi@davi:~$ podman run --interactive --tty --publish=1235:8080 --volume=/home/davi/AI/models/:/models/ --device=/dev/dri/renderD128 --user=root docker.io/openvino/model_server:2026.4.0-gpu --rest_port 8080 --model_repository_path /models/ --source_model OpenVINO/Qwen3.6-35B-A3B-int4-ov --target_device GPU --task text_generation --kv_cache_precision u8 --plugin_config '{"OFFLOAD_RATIO": 1}' --max_num_batched_tokens 4000
[2026-09-18 02:41:48.761][1][serving][info][server.cpp:115] OpenVINO Model Server 2026.4.0.869b2186a
[2026-09-18 02:41:48.761][1][serving][info][server.cpp:116] OpenVINO backend 2026.4.0-22959-99c81491cc3-releases/2026/4
[2026-09-18 02:41:48.761][1][serving][info][server.cpp:119] OpenVINO GenAI backend 2026.4.0.0-3407-7ea2546852a
[2026-09-18 02:41:48.761][1][serving][info][pythoninterpretermodule.cpp:37] PythonInterpreterModule starting
[2026-09-18 02:41:48.761][1][serving][info][pythoninterpretermodule.cpp:40] Initializing python interpreter
Python version:
3.12.3 (main, Aug 31 2026, 10:18:26) [GCC 13.3.0]
Python sys.path output:
['', '/ovms/lib/python', '/ovms/python_deps', '/lib/python312.zip', '/lib/python3.12', '/lib/python3.12/lib-dynload']
[2026-09-18 02:41:48.843][1][serving][info][pythoninterpretermodule.cpp:59] PythonInterpreterModule started
[2026-09-18 02:41:48.844][8][modelmanager][info][servable_loading_queue.cpp:89] Started servable loading queue thread
[2026-09-18 02:41:48.947][1][modelmanager][info][modelmanager.cpp:252] Available devices for Open VINO: CPU, GPU
[2026-09-18 02:41:48.947][1][serving][info][modelmanager.cpp:243] Running inside Docker container
[2026-09-18 02:41:48.947][1][serving][info][modelmanager.cpp:244] cpu quota: 0, cpu affinity: 16, max_open_files: 524288
[2026-09-18 02:41:48.947][1][serving][info][capimodule.cpp:40] C-APIModule starting
[2026-09-18 02:41:48.947][1][serving][info][capimodule.cpp:42] C-APIModule started
[2026-09-18 02:41:48.947][1][serving][info][grpcservermodule.cpp:106] GRPCServerModule starting
[2026-09-18 02:41:48.947][1][serving][info][grpcservermodule.cpp:110] GRPCServerModule started
[2026-09-18 02:41:48.947][1][serving][info][grpcservermodule.cpp:111] Port was not set. GRPC server will not be started.
[2026-09-18 02:41:48.947][1][serving][info][httpservermodule.cpp:35] HTTPServerModule starting
[2026-09-18 02:41:48.947][1][serving][info][httpservermodule.cpp:39] Will start 16 REST workers
[2026-09-18 02:41:48.948][10][serving][info][drogon_http_server.cpp:157] Binding REST server to address: 0.0.0.0:8080
[2026-09-18 02:41:48.998][1][serving][info][drogon_http_server.cpp:184] REST server listening on port 8080 with 16 unary threads and 16 streaming threads
[2026-09-18 02:41:48.998][1][serving][info][http_server.cpp:242] API key not provided via --api_key_file or API_KEY environment variable. Authentication will be disabled.
[2026-09-18 02:41:48.998][1][serving][info][httpservermodule.cpp:52] HTTPServerModule started
[2026-09-18 02:41:48.998][1][serving][info][httpservermodule.cpp:53] Started REST server at 0.0.0.0:8080
[INFO] LFS resume: attempts=5 interval=10 s
[2026-09-18 02:41:49.049][1][serving][info][libgit2.cpp:1342] Path "/models/OpenVINO/Qwen3.6-35B-A3B-int4-ov" exists but is not a git repository. Skipping download and using existing files.
Model: OpenVINO/Qwen3.6-35B-A3B-int4-ov downloaded to: /models/OpenVINO/Qwen3.6-35B-A3B-int4-ov
Graph: graph.pbtxt created in: /models/OpenVINO/Qwen3.6-35B-A3B-int4-ov
[2026-09-18 02:41:49.051][1][serving][info][servablemanagermodule.cpp:51] ServableManagerModule starting
[2026-09-18 02:41:49.052][8][serving][info][mediapipegraphdefinition.cpp:643] MediapipeGraphDefinition initializing graph nodes
[2026-09-18 02:41:49.052][8][modelmanager][info][servable_initializer.cpp:688] Initializing Visual Language Model Continuous Batching servable
[2026-09-18 02:41:56.687][8][serving][error][servable_initializer.cpp:284] Error during llm node initialization for models_path: /models/OpenVINO/Qwen3.6-35B-A3B-int4-ov/./ exception: Exception from src/inference/src/cpp/core.cpp:117:
Exception from src/inference/src/dev/plugin.cpp:54:
Check '!weights_path.empty()' failed at src/plugins/intel_gpu/src/plugin/ops/moe.cpp:55:
ov::weights_path property is not set. OTD requires a valid path to the model .bin file. Please set ov::weights_path when compiling the model.
[2026-09-18 02:41:56.687][8][modelmanager][error][servable_initializer.cpp:693] Error during LLM node resources initialization: The LLM Node resource initialization failed
[2026-09-18 02:41:56.687][8][serving][error][llm_node_initializer.cpp:60] Failed to process LLM node graph OpenVINO/Qwen3.6-35B-A3B-int4-ov
[2026-09-18 02:41:56.687][8][modelmanager][info][pipelinedefinitionstatus.hpp:60] Mediapipe: OpenVINO/Qwen3.6-35B-A3B-int4-ov state changed to: LOADING_PRECONDITION_FAILED after handling: ValidationFailedEvent:
[2026-09-18 02:41:56.687][1][modelmanager][error][modelmanager.cpp:286] Couldn't start model manager
[2026-09-18 02:41:56.687][1][serving][error][servablemanagermodule.cpp:58] ovms::ModelManager::Start() Error: The LLM Node resource initialization failed
[2026-09-18 02:41:56.687][1][serving][info][grpcservermodule.cpp:195] GRPCServerModule shutting down
[2026-09-18 02:41:56.687][1][serving][info][grpcservermodule.cpp:205] GRPCServerModule shutdown
[2026-09-18 02:41:56.687][1][serving][info][httpservermodule.cpp:59] HTTPServerModule shutting down
[2026-09-18 02:41:56.688][1][serving][info][httpservermodule.cpp:64] Shutdown HTTP server
[2026-09-18 02:41:56.688][1][serving][info][servablemanagermodule.cpp:65] ServableManagerModule shutting down
[2026-09-18 02:41:56.688][8][modelmanager][info][servable_loading_queue.cpp:113] Stopped servable loading queue thread
[2026-09-18 02:41:56.693][1][serving][info][servablemanagermodule.cpp:71] ServableManagerModule shutdown
[2026-09-18 02:41:56.693][1][serving][info][pythoninterpretermodule.cpp:73] PythonInterpreterModule shutting down
[2026-09-18 02:41:56.693][1][serving][info][pythoninterpretermodule.cpp:77] PythonInterpreterModule shutdown
[2026-09-18 02:41:56.701][1][serving][info][capimodule.cpp:50] C-APIModule shutting down
[2026-09-18 02:41:56.701][1][serving][info][capimodule.cpp:52] C-APIModule shutdown
Configuration
Ryzen 7 5700X3D, B580
- Ngôn ngữ chính
- C++
- Star
- 932
- Fork
- 278
- Merge trung bình
- 2 ngày 19 giờ
- Pull request đã merge (30 ngày)
- 62
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của openvinotoolkit/model_server
-
bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100
openvinotoolkit/model_server#4609 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
`/v3/models` lists every model twice when `group_name` and `--idle_unload_timeout_seconds` are combinedCó thể đã có người làm @atobiszei đã nhận 2 ngày trước. Đang mở
openvinotoolkit/model_server#4604 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Idle unload never happens again if the client disconnects while a sleeping graph is waking upCó thể đã có người làm @atobiszei đã nhận 2 ngày trước. Đang mở
openvinotoolkit/model_server#4603 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
openvinotoolkit/model_server#4599 · 4 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
openvinotoolkit/model_server#4586 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của openvinotoolkit/model_server
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
hyprwm/aquamarine#426 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Winget hash mismatch for 5.0.3.0Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
amnezia-vpn/amnezia-client#3222 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
sdatkinson/NeuralAmpModelerCore#342 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
valkey-io/valkey-search#1465 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
KhronosGroup/Vulkan-Tutorial#524 ·
Maintainer thường phản hồi trong vòng 1 ngày