Research viability of using Dev Proxy with GitHub Models LLMs and handling throttling
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 28/100
Direção de pesquisa
Revise a integração atual do Dev Proxy para modelos locais, o fluxo de geração da especificação da API, o cliente de modelos de linguagem da OpenAI e os arquivos de prompt padrão. Determine se o nível básico do GitHub Models é compatível com o volume de solicitações gerado, documente os limites de solicitações e o comportamento de throttling, avalie a adequação dos prompts e registre se são necessárias alterações no back-off, na autenticação ou no conjunto de prompts.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
We need to research the feasibility of integrating Dev Proxy with LLMs provided by GitHub Models. Specifically, determine if the basic tier of GitHub Models can handle the volume of requests that Dev Proxy generates (such as during API spec generation). Additionally, investigate whether there are any request limits or throttling behaviors that may impact this integration, as our current Dev Proxy implementation did not require throttling logic when used with local models. We should also verify, if our prompts are good enough or if we'd need to think about exposing prompt-sets to make it easier to switch between the models without having to manually replace all prompts in our default files.
If using GH Models turns out to be viable we'll likely need to:
- Implement handling throttling with proper back-off
- Add support for auth in the OpenAI language model client
Let's focus on verifying the viability, before we commit to an actual implementation.
- Linguagem predominante
- C#
- Estrelas
- 835
- Forks
- 90
- Merge médio
- 12h 53min
- PRs com merge (30d)
- 44
Preparar o ambiente
- Inclui um Dockerfile ou arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de dotnet/dev-proxy
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100
Mantenedores costumam responder em até 1 dia
-
MockStdioResponsePlugin: @stdin.body.id placeholder fails to resolve when messages arrive back-to-back after an id-less messageTalvez livre de novo @garrytrinder assumiu há 96 dias e não há nenhum pull request aberto. Aberta
dotnet/dev-proxy#1757 · 1 reação · 2 responsáveis ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100
Mantenedores costumam responder em até 1 dia
-
needs peer review
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 52/100
dotnet/dev-proxy#1667 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
Todas as issues de dotnet/dev-proxy
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
sebastienros/jint#4282 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 76/100
pyrevitlabs/pyRevit#3792 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 60/100
Mantenedores costumam responder em até 1 dia
-
Update the about pageAberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 65/100
fboucher/2d6-dungeon-app#256 ·
Mantenedores costumam responder em até 1 dia
-
area: design documentation
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
eyalgolan/statecraft-israel#883 ·
Mantenedores costumam responder em até 1 dia