Research viability of using Dev Proxy with GitHub Models LLMs and handling throttling
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 28/100
Rechercherichtung
Überprüfe die aktuelle Dev Proxy-Integration für lokale Modelle, den Ablauf zur Generierung der API-Spezifikation, den OpenAI-Sprachmodell-Client und die standardmäßigen Prompt-Dateien. Ermittle, ob der Basic-Tier von GitHub Models das generierte Anfragevolumen unterstützt, dokumentiere Anfragebeschränkungen und das Drosselungsverhalten, bewerte die Eignung der Prompts und halte fest, ob Änderungen an Back-off, Authentifizierung oder dem Prompt-Set erforderlich sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
We need to research the feasibility of integrating Dev Proxy with LLMs provided by GitHub Models. Specifically, determine if the basic tier of GitHub Models can handle the volume of requests that Dev Proxy generates (such as during API spec generation). Additionally, investigate whether there are any request limits or throttling behaviors that may impact this integration, as our current Dev Proxy implementation did not require throttling logic when used with local models. We should also verify, if our prompts are good enough or if we'd need to think about exposing prompt-sets to make it easier to switch between the models without having to manually replace all prompts in our default files.
If using GH Models turns out to be viable we'll likely need to:
- Implement handling throttling with proper back-off
- Add support for auth in the OpenAI language model client
Let's focus on verifying the viability, before we commit to an actual implementation.
- Vorherrschende Sprache
- C#
- Sterne
- 832
- Forks
- 90
- Ø Merge
- 17 Std. 54 Min.
- Gemergte PRs (30 T.)
- 47
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus dotnet/dev-proxy
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag
-
waiting for response
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 28/100
dotnet/dev-proxy#1914 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
MockStdioResponsePlugin: @stdin.body.id placeholder fails to resolve when messages arrive back-to-back after an id-less messageEvtl. wieder frei @garrytrinder hat das vor 87 Tagen übernommen, und es ist kein Pull Request offen. Offen
dotnet/dev-proxy#1757 · 1 Reaktion · 2 zugewiesene Personen ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 55/100
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in dotnet/dev-proxy
Ähnliche Issues
-
type/automation type/tech-debt
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
no-stack-trace
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 83/100
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
Maintainer antworten meist innerhalb von 1 Tag
-
v9 review: TestingOffendocs/external squad/utforming
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
Altinn/altinn-studio#21041 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
stryker-mutator/stryker-net#3892 ·
Maintainer antworten meist innerhalb von 1 Tag