Support bring-your-own LLM (hosted OpenAI-compatible / Azure OpenAI) for language model integration
Maintainer thường phản hồi trong vòng 1 ngày
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Summary
Dev Proxy's language model integration is currently designed for local SLMs (default: Ollama llama3.2 at localhost:11434). As inference prices drop, using hosted LLMs is increasingly viable and yields better results (e.g. operation IDs/descriptions in OpenApiSpecGeneratorPlugin/TypeSpecGeneratorPlugin, mock responses in OpenAIMockResponsePlugin).
Current limitations
OpenAILanguageModelClientsends noAuthorization/api-keyheader, so hosted endpoints (OpenAI, Azure OpenAI, GitHub Models, OpenRouter, Foundry) can't be used.- Only
OllamaandOpenAIclients; no Azure OpenAI support (api-keyheader,api-version, deployment-based URLs). IsEnabledCoreAsyncsends a real "Are you there?" completion on startup, which costs money on paid endpoints.languageModelschema describes the feature as "local language model".
Proposed changes
- Add
apiKeytolanguageModelconfig, supporting@env:VAR_NAMEso secrets stay out of config files; send as Bearer token (OpenAI-compatible) orapi-key(Azure). - Add
AzureOpenAIclient (or evaluate moving toMicrosoft.Extensions.AIIChatClient). - Replace the startup availability probe with a non-billable check (e.g.
GET /models) where possible. - Update
rc.schema.json(current version folder) and docs. - Never log API keys.
Follow-ups (out of scope here): per-plugin model overrides, redaction/opt-in for sending captured traffic to cloud models.
- Ngôn ngữ chính
- C#
- Star
- 838
- Fork
- 90
- Merge trung bình
- 2 ngày 11 giờ
- Pull request đã merge (30 ngày)
- 59
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của dotnet/dev-proxy
-
GetTokenizedUrl fails on parenthesized Graph URL segmentsCó thể đã có người làm @waldekmastykarz đã nhận 3 ngày trước. Đang mởwork in progress
dotnet/dev-proxy#2041 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Support discriminator for oneOf in OpenApiValidationPluginCó thể đã có người làm @waldekmastykarz đã nhận 3 ngày trước. Đang mởwork in progress
dotnet/dev-proxy#2040 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Validate language-model mock output against the schema in OpenApiMockResponsePluginCó thể đã có người làm @waldekmastykarz đã nhận 3 ngày trước. Đang mởon hold
dotnet/dev-proxy#2039 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
OpenApiSpecGeneratorPlugin omits parameters and response headers from generated specsCó thể đã có người làm @waldekmastykarz đã nhận 3 ngày trước. Đang mởbug work in progress
dotnet/dev-proxy#2032 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
breaking change on hold
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
dotnet/dev-proxy#1928 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của dotnet/dev-proxy
Issue tương tự
-
is:build
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
nopSolutions/nopCommerce#8440 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
RadicalCSG/com.chisel#192 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area-testing p2-post-1.0 technical-debt
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
RazorConsole/RazorConsole#447 ·
Maintainer thường phản hồi trong vòng 1 ngày