Support bring-your-own LLM (hosted OpenAI-compatible / Azure OpenAI) for language model integration

オープン
  • 何か問題がありますか？
#2,034 コメント 0 件 リアクション 0 件 担当者 1 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

@waldekmastykarz がすでに取り組んでいます。

2026年10月31日 から。

  • #2035 @waldekmastykarz による — オープン

評価

この issue はまだ評価されていません。

説明

work in progress

Summary

Dev Proxy's language model integration is currently designed for local SLMs (default: Ollama llama3.2 at localhost:11434). As inference prices drop, using hosted LLMs is increasingly viable and yields better results (e.g. operation IDs/descriptions in OpenApiSpecGeneratorPlugin/TypeSpecGeneratorPlugin, mock responses in OpenAIMockResponsePlugin).

Current limitations

  • OpenAILanguageModelClient sends no Authorization/api-key header, so hosted endpoints (OpenAI, Azure OpenAI, GitHub Models, OpenRouter, Foundry) can't be used.
  • Only Ollama and OpenAI clients; no Azure OpenAI support (api-key header, api-version, deployment-based URLs).
  • IsEnabledCoreAsync sends a real "Are you there?" completion on startup, which costs money on paid endpoints.
  • languageModel schema describes the feature as "local language model".

Proposed changes

  1. Add apiKey to languageModel config, supporting @env:VAR_NAME so secrets stay out of config files; send as Bearer token (OpenAI-compatible) or api-key (Azure).
  2. Add AzureOpenAI client (or evaluate moving to Microsoft.Extensions.AI IChatClient).
  3. Replace the startup availability probe with a non-billable check (e.g. GET /models) where possible.
  4. Update rc.schema.json (current version folder) and docs.
  5. Never log API keys.

Follow-ups (out of scope here): per-plugin model overrides, redaction/opt-in for sending captured traffic to cloud models.

主要言語
C#
スター
838
フォーク
90
平均マージ
2日 11時間
マージ済み PR（30日）
59

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

dotnet/dev-proxy のほかの issue

dotnet/dev-proxy の issue をすべて見る

似ている issue

C# の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。