[Bug]: Changing an LLM provider's context breaks its LLM proxies (404) until each proxy is redeployed
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 57/100
Hướng nghiên cứu
Start with gateway/gateway-controller/pkg/utils/llm_transformer.go near line 209, where the provider context is copied into a proxy's loopback upstream, and trace how provider deployments update routes. Reproduce the issue using the listed provider and proxy API steps, then check whether the proxy route refreshes after the provider context changes. Done means the proxy keeps returning 200 after only the provider is redeployed, or the AI Workspace clearly identifies affected proxies that need redeployment.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Please select the area the issue is related to
Gateway, AI Workspace
Please select the aspect the issue is related to
Aspect/AI (AI/LLM integration, MCP, AI readiness)
Description
When an LLM provider's context changes and the provider is deployed again, every LLM proxy that uses it starts returning 404. platform-api still shows those proxies as DEPLOYED, and they keep failing until each one is deployed again.
When the gateway builds a proxy's route, it copies the provider's context into the proxy's loopback upstream (gateway/gateway-controller/pkg/utils/llm_transformer.go:209). Deploying the provider updates only the provider, so the proxy keeps forwarding to the old context. The router log shows the proxy's request going to the old path:
"POST /b07proxy/chat/completions HTTP/1.1" /b07prov/chat/completions - 404 - direct_response ...
The AI Workspace warning shown when a provider's context is edited ("You have modified the context of this service provider. After updating, you will need to redeploy on the gateway for the changes to take effect.") mentions only the provider, not its proxies.
Expected: proxies keep working after their provider's context changes, or the user is told which proxies need to be deployed again.
Actual: the proxies return 404 while showing DEPLOYED.
Related: #3493.
Steps to Reproduce
- Create a provider:
POST /api/v0.9/llm-providerswith{"id":"b07-prov","displayName":"b07-prov","version":"v1.0","template":"openai","context":"/b07prov","upstream":{"main":{"url":"<echo-backend>/v1"}},"accessControl":{"mode":"allow_all"}}. - Create a proxy on it:
POST /api/v0.9/llm-proxieswith{"id":"b07-proxy","displayName":"b07-proxy","version":"v1.0","projectId":"default","context":"/b07proxy","provider":{"id":"b07-prov"}}. - Deploy the provider, then the proxy, to the same gateway (
POST .../deployments,base: current). Wait forDEPLOYEDon both. - Call the proxy:
POST <router>/b07proxy/chat/completionswith{"model":"gpt-4o","messages":[{"role":"user","content":"hi"}]}. It returns200. - Change the provider's context:
GET /api/v0.9/llm-providers/b07-prov, set"context":"/b07prov-new", andPUTit back. It returns200. - Deploy only the provider again. Wait for
DEPLOYED. - Call the provider at its new context:
POST <router>/b07prov-new/chat/completions. It returns200. - Call the proxy again (same request as step 4). It returns
404({"error":"Not Found"}), and still does 20 seconds later.GET /api/v0.9/llm-proxies/b07-proxy/deploymentsstill shows the proxyDEPLOYED. - Deploy the proxy again. The same call now returns
200.
Severity Level of the Issue
Severity/Major (Important functionality is broken. Should be prioritized. Doesn't need immediate attention)
Environment Details (with versions)
- Source:
mainatf5c93849. - platform-api built from source (SQLite).
- Gateway images (
gateway-controller/gateway-runtime2026.09.24) built from that commit. - Echo backend:
ghcr.io/wso2/api-platform/sample-service:latest. - macOS with Rancher Desktop.
- Ngôn ngữ chính
- Go
- Star
- 85
- Fork
- 137
- Merge trung bình
- 1 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 247
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của wso2/api-platform
-
Area/DeveloperPortal Aspect/UI Severity/Minor Type/Bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
wso2/api-platform#4369 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: host-rewrite policy documentation lists fewer allowed host characters than the policy acceptsĐang mởArea/Policies Aspect/Other Severity/Trivial Type/Bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
wso2/api-platform#4355 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Area/Gateway Aspect/API Severity/Minor Type/Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
wso2/api-platform#4348 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Aspect/AI Aspect/API. Severity/Major
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
wso2/api-platform#4343 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: content-length-guardrail policy accepts a non-string streamingJsonPath at API creationĐang mởArea/Policies Aspect/Configuration Severity/Minor Type/Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
wso2/api-platform#4330 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của wso2/api-platform
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
needs discussion
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
openfga/openfga.dev#1436 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
都道府県を指定すると区名から始まる住所に市名を補わないĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
digital-go-jp/abr-geocoder#457 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
benchmark
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
mozilla-ai/cq#601 ·
Maintainer thường phản hồi trong vòng 1 ngày