Research viability of using Dev Proxy with GitHub Models LLMs and handling throttling
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 28/100
研究方向
檢視目前針對本機模型的 Dev Proxy 整合、API 規格產生流程、OpenAI 語言模型用戶端，以及預設提示詞檔案。判斷 GitHub Models 的基本層級是否支援產生的要求量，記錄要求限制與節流行為，評估提示詞的適用性，並記錄是否需要變更退避、驗證或提示詞集。
由索引模型根據 Issue 內容生成。
描述
We need to research the feasibility of integrating Dev Proxy with LLMs provided by GitHub Models. Specifically, determine if the basic tier of GitHub Models can handle the volume of requests that Dev Proxy generates (such as during API spec generation). Additionally, investigate whether there are any request limits or throttling behaviors that may impact this integration, as our current Dev Proxy implementation did not require throttling logic when used with local models. We should also verify, if our prompts are good enough or if we'd need to think about exposing prompt-sets to make it easier to switch between the models without having to manually replace all prompts in our default files.
If using GH Models turns out to be viable we'll likely need to:
- Implement handling throttling with proper back-off
- Add support for auth in the OpenAI language model client
Let's focus on verifying the viability, before we commit to an actual implementation.
- 主要語言
- C#
- 星號
- 841
- 分支
- 90
- 平均合併
- 2 天 10 小時
- 30 天內合併 PR
- 63
環境準備
- 提供 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
dotnet/dev-proxy 的其他 Issue
-
ExecutionSummaryPlugin: internal log messages leak into the report as an "Unknown" category可能已有人在做 @waldekmastykarz 於 2 天前認領。 未關閉bug work in progress
dotnet/dev-proxy#2097 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Add `devproxy cert export` to write the root certificate to a file可能已有人在做 @waldekmastykarz 於 2 天前認領。 未關閉work in progress
dotnet/dev-proxy#2085 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Update "Use Dev Proxy with Node.js" for native `fetch` proxy support and certificate trust可能已有人在做 @waldekmastykarz 於 2 天前認領。 未關閉documentation work in progress
dotnet/dev-proxy#2084 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Reference the API-inventory preset from the CI/CD and Record docs可能已有人在做 @waldekmastykarz 於 2 天前認領。 未關閉documentation work in progress
dotnet/dev-proxy#2083 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Document the shutdown contract for `POST /proxy/stopProxy`可能已有人在做 @waldekmastykarz 於 2 天前認領。 未關閉documentation work in progress
dotnet/dev-proxy#2081 · 已指派 1 人 ·
維護者通常 1 天內回覆
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 68/100
Facepunch/sbox-public#12305 ·
維護者通常 5 天內回覆
-
難度 2/5 1-3 小時 新手友好度 68/100
JiaFeiMiao-K-Cat/DiscImageStudio#205 ·
維護者通常 1 天內回覆
-
bug keep-fresh
難度 2/5 1-3 小時 新手友好度 68/100
Flow-Launcher/Flow.Launcher#4744 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
flyingpie/windows-terminal-quake#419 ·
維護者通常 1 天內回覆
-
enhancement help wanted
難度 2/5 1-3 小時 新手友好度 82/100