[Bug]: Changing an LLM provider's context breaks its LLM proxies (404) until each proxy is redeployed

Đang mở
#4,294 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
57/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
go
Lĩnh vực
api, backend

Hướng nghiên cứu

Start with gateway/gateway-controller/pkg/utils/llm_transformer.go near line 209, where the provider context is copied into a proxy's loopback upstream, and trace how provider deployments update routes. Reproduce the issue using the listed provider and proxy API steps, then check whether the proxy route refreshes after the provider context changes. Done means the proxy keeps returning 200 after only the provider is redeployed, or the AI Workspace clearly identifies affected proxies that need redeployment.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Area/AIWorkspace Area/Gateway Aspect/AI Severity/Major Type/Bug
Please select the area the issue is related to

Gateway, AI Workspace

Please select the aspect the issue is related to

Aspect/AI (AI/LLM integration, MCP, AI readiness)

Description

When an LLM provider's context changes and the provider is deployed again, every LLM proxy that uses it starts returning 404. platform-api still shows those proxies as DEPLOYED, and they keep failing until each one is deployed again.

When the gateway builds a proxy's route, it copies the provider's context into the proxy's loopback upstream (gateway/gateway-controller/pkg/utils/llm_transformer.go:209). Deploying the provider updates only the provider, so the proxy keeps forwarding to the old context. The router log shows the proxy's request going to the old path:

"POST /b07proxy/chat/completions HTTP/1.1" /b07prov/chat/completions - 404 - direct_response ...

The AI Workspace warning shown when a provider's context is edited ("You have modified the context of this service provider. After updating, you will need to redeploy on the gateway for the changes to take effect.") mentions only the provider, not its proxies.

Expected: proxies keep working after their provider's context changes, or the user is told which proxies need to be deployed again.
Actual: the proxies return 404 while showing DEPLOYED.

Related: #3493.

Steps to Reproduce
  1. Create a provider: POST /api/v0.9/llm-providers with {"id":"b07-prov","displayName":"b07-prov","version":"v1.0","template":"openai","context":"/b07prov","upstream":{"main":{"url":"<echo-backend>/v1"}},"accessControl":{"mode":"allow_all"}}.
  2. Create a proxy on it: POST /api/v0.9/llm-proxies with {"id":"b07-proxy","displayName":"b07-proxy","version":"v1.0","projectId":"default","context":"/b07proxy","provider":{"id":"b07-prov"}}.
  3. Deploy the provider, then the proxy, to the same gateway (POST .../deployments, base: current). Wait for DEPLOYED on both.
  4. Call the proxy: POST <router>/b07proxy/chat/completions with {"model":"gpt-4o","messages":[{"role":"user","content":"hi"}]}. It returns 200.
  5. Change the provider's context: GET /api/v0.9/llm-providers/b07-prov, set "context":"/b07prov-new", and PUT it back. It returns 200.
  6. Deploy only the provider again. Wait for DEPLOYED.
  7. Call the provider at its new context: POST <router>/b07prov-new/chat/completions. It returns 200.
  8. Call the proxy again (same request as step 4). It returns 404 ({"error":"Not Found"}), and still does 20 seconds later. GET /api/v0.9/llm-proxies/b07-proxy/deployments still shows the proxy DEPLOYED.
  9. Deploy the proxy again. The same call now returns 200.
Severity Level of the Issue

Severity/Major (Important functionality is broken. Should be prioritized. Doesn't need immediate attention)

Environment Details (with versions)
  • Source: main at f5c93849.
  • platform-api built from source (SQLite).
  • Gateway images (gateway-controller / gateway-runtime 2026.09.24) built from that commit.
  • Echo backend: ghcr.io/wso2/api-platform/sample-service:latest.
  • macOS with Rancher Desktop.
Ngôn ngữ chính
Go
Star
85
Fork
137
Merge trung bình
1 ngày 12 giờ
Pull request đã merge (30 ngày)
247

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của wso2/api-platform

Tất cả issue của wso2/api-platform

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.