Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Research viability of using Dev Proxy with GitHub Models LLMs and handling throttling

Đang mở
  • Có gì không ổn?
#1,306 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
28/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
csharp, github
Lĩnh vực
ai, api, devtools

Hướng nghiên cứu

Rà soát tích hợp Dev Proxy hiện tại cho các mô hình cục bộ, quy trình tạo đặc tả API, ứng dụng khách mô hình ngôn ngữ OpenAI và các tệp prompt mặc định. Xác định liệu basic tier của GitHub Models có hỗ trợ khối lượng yêu cầu được tạo ra hay không, ghi lại các giới hạn yêu cầu và hành vi throttling, đánh giá mức độ phù hợp của prompt, đồng thời ghi lại liệu có cần thay đổi back-off, xác thực hoặc bộ prompt hay không.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

needs research

We need to research the feasibility of integrating Dev Proxy with LLMs provided by GitHub Models. Specifically, determine if the basic tier of GitHub Models can handle the volume of requests that Dev Proxy generates (such as during API spec generation). Additionally, investigate whether there are any request limits or throttling behaviors that may impact this integration, as our current Dev Proxy implementation did not require throttling logic when used with local models. We should also verify, if our prompts are good enough or if we'd need to think about exposing prompt-sets to make it easier to switch between the models without having to manually replace all prompts in our default files.

If using GH Models turns out to be viable we'll likely need to:

  • Implement handling throttling with proper back-off
  • Add support for auth in the OpenAI language model client

Let's focus on verifying the viability, before we commit to an actual implementation.

Ngôn ngữ chính
C#
Star
832
Fork
90
Merge trung bình
17 giờ 54 phút
Pull request đã merge (30 ngày)
47

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của dotnet/dev-proxy

Tất cả issue của dotnet/dev-proxy

Issue tương tự

Thêm issue về C#

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.