Support bring-your-own LLM (hosted OpenAI-compatible / Azure OpenAI) for language model integration
Les mainteneurs répondent en général sous 1 jour
Évaluation
Cette issue n'a pas encore été évaluée.
Description
Summary
Dev Proxy's language model integration is currently designed for local SLMs (default: Ollama llama3.2 at localhost:11434). As inference prices drop, using hosted LLMs is increasingly viable and yields better results (e.g. operation IDs/descriptions in OpenApiSpecGeneratorPlugin/TypeSpecGeneratorPlugin, mock responses in OpenAIMockResponsePlugin).
Current limitations
OpenAILanguageModelClientsends noAuthorization/api-keyheader, so hosted endpoints (OpenAI, Azure OpenAI, GitHub Models, OpenRouter, Foundry) can't be used.- Only
OllamaandOpenAIclients; no Azure OpenAI support (api-keyheader,api-version, deployment-based URLs). IsEnabledCoreAsyncsends a real "Are you there?" completion on startup, which costs money on paid endpoints.languageModelschema describes the feature as "local language model".
Proposed changes
- Add
apiKeytolanguageModelconfig, supporting@env:VAR_NAMEso secrets stay out of config files; send as Bearer token (OpenAI-compatible) orapi-key(Azure). - Add
AzureOpenAIclient (or evaluate moving toMicrosoft.Extensions.AIIChatClient). - Replace the startup availability probe with a non-billable check (e.g.
GET /models) where possible. - Update
rc.schema.json(current version folder) and docs. - Never log API keys.
Follow-ups (out of scope here): per-plugin model overrides, redaction/opt-in for sending captured traffic to cloud models.
- Langage dominant
- C#
- Étoiles
- 841
- Forks
- 90
- Merge moyen
- 2 j 10 h
- PR mergées (30 j)
- 63
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de dotnet/dev-proxy
-
ExecutionSummaryPlugin: internal log messages leak into the report as an "Unknown" categoryPeut-être pris @waldekmastykarz l’a pris il y a 1 jour. Ouvertebug work in progress
dotnet/dev-proxy#2097 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Add `devproxy cert export` to write the root certificate to a filePeut-être pris @waldekmastykarz l’a pris il y a 1 jour. Ouvertework in progress
dotnet/dev-proxy#2085 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Update "Use Dev Proxy with Node.js" for native `fetch` proxy support and certificate trustPeut-être pris @waldekmastykarz l’a pris il y a 1 jour. Ouvertedocumentation work in progress
dotnet/dev-proxy#2084 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Reference the API-inventory preset from the CI/CD and Record docsPeut-être pris @waldekmastykarz l’a pris il y a 1 jour. Ouvertedocumentation work in progress
dotnet/dev-proxy#2083 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Document the shutdown contract for `POST /proxy/stopProxy`Peut-être pris @waldekmastykarz l’a pris il y a 1 jour. Ouvertedocumentation work in progress
dotnet/dev-proxy#2081 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de dotnet/dev-proxy
Issues similaires
-
needs-triage
Difficulté 1/5 1-3 heures Accessibilité débutants 76/100
Azure/azure-sdk-for-net#64658 · 1 commentaire · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
dotnet/aspnetcore#70370 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
NethermindEth/nethermind#15684 ·
Les mainteneurs répondent en général sous 1 jour
-
area/ai-assistant squad/flyt
Difficulté 2/5 1-3 heures Accessibilité débutants 83/100
Altinn/altinn-studio#21798 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 64/100
SubtitleEdit/subtitleedit#16699 ·
Les mainteneurs répondent en général sous 1 jour