ChatGPTNextWeb/NextChat

[Feature Request] Support for Github Models

Open

#5.637 aberto em 11 de out. de 2024

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)TypeScript (87.992 stars) (59.717 forks)batch import
enhancementhelp wanted

Description

🥰 Feature Description

I would love to use https://github.com/marketplace/models/

Here is where to get the access key: https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/managing-your-personal-access-tokens

The api endpoint is https://models.inference.ai.azure.com

🧐 Proposed Solution

It seems like its the ordinary openai api but with different api url

📝 Additional Information

n/a

Guia do colaborador

Pilha de tecnologia
typescript
Domain
backend
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 hours
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
fresh
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
Familiarity with NextChat's provider architectureUnderstanding of OpenAI API compatibility
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75
Direção de pesquisa
Examine how existing model providers (e.g., OpenAI, Azure) are configured in the codebase, likely in a providers directory or configuration file. Add a new provider entry with base URL 'https://models.inference.ai.azure.com' and authentication using a GitHub personal access token. Refer to GitHub Models documentation for endpoint details and ensure compatibility with the existing API call patterns.