Support bring-your-own LLM (hosted OpenAI-compatible / Azure OpenAI) for language model integration
维护者通常 1 天内回复
评估
这个 Issue 还没有评估数据。
描述
Summary
Dev Proxy's language model integration is currently designed for local SLMs (default: Ollama llama3.2 at localhost:11434). As inference prices drop, using hosted LLMs is increasingly viable and yields better results (e.g. operation IDs/descriptions in OpenApiSpecGeneratorPlugin/TypeSpecGeneratorPlugin, mock responses in OpenAIMockResponsePlugin).
Current limitations
OpenAILanguageModelClientsends noAuthorization/api-keyheader, so hosted endpoints (OpenAI, Azure OpenAI, GitHub Models, OpenRouter, Foundry) can't be used.- Only
OllamaandOpenAIclients; no Azure OpenAI support (api-keyheader,api-version, deployment-based URLs). IsEnabledCoreAsyncsends a real "Are you there?" completion on startup, which costs money on paid endpoints.languageModelschema describes the feature as "local language model".
Proposed changes
- Add
apiKeytolanguageModelconfig, supporting@env:VAR_NAMEso secrets stay out of config files; send as Bearer token (OpenAI-compatible) orapi-key(Azure). - Add
AzureOpenAIclient (or evaluate moving toMicrosoft.Extensions.AIIChatClient). - Replace the startup availability probe with a non-billable check (e.g.
GET /models) where possible. - Update
rc.schema.json(current version folder) and docs. - Never log API keys.
Follow-ups (out of scope here): per-plugin model overrides, redaction/opt-in for sending captured traffic to cloud models.
- 主要语言
- C#
- 星标
- 838
- 派生
- 90
- 平均合并
- 2 天 11 小时
- 30 天内合并 PR
- 59
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dotnet/dev-proxy 的其他 Issue
-
GetTokenizedUrl fails on parenthesized Graph URL segments可能已有人在做 @waldekmastykarz 于 4 天前认领。 未关闭work in progress
dotnet/dev-proxy#2041 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Support discriminator for oneOf in OpenApiValidationPlugin可能已有人在做 @waldekmastykarz 于 4 天前认领。 未关闭work in progress
dotnet/dev-proxy#2040 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Validate language-model mock output against the schema in OpenApiMockResponsePlugin可能已有人在做 @waldekmastykarz 于 4 天前认领。 未关闭on hold
dotnet/dev-proxy#2039 · 已指派 1 人 ·
维护者通常 1 天内回复
-
OpenApiSpecGeneratorPlugin omits parameters and response headers from generated specs可能已有人在做 @waldekmastykarz 于 4 天前认领。 未关闭bug work in progress
dotnet/dev-proxy#2032 · 已指派 1 人 ·
维护者通常 1 天内回复
-
breaking change on hold
难度 3/5 1-2 天 新手友好度 65/100
dotnet/dev-proxy#1928 · 1 条评论 ·
维护者通常 1 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 76/100
-
难度 2/5 1-3 小时 新手友好度 85/100
sebastienros/jint#4449 ·
维护者通常 1 天内回复
-
needs triage
难度 2/5 1-3 小时 新手友好度 63/100
spectreconsole/spectre.console#2242 ·
维护者通常 11 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
hardkoded/puppeteer-sharp#3659 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
KnifeLemon/Filee#1118 ·
维护者通常 1 天内回复