ChatGPTNextWeb/NextChat

[Feature Request] Support for Github Models

Open

Aperta il 11 ott 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)TypeScript (87.992 star) (59.717 fork)batch import
enhancementhelp wanted

Descrizione

🥰 Feature Description

I would love to use https://github.com/marketplace/models/

Here is where to get the access key: https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/managing-your-personal-access-tokens

The api endpoint is https://models.inference.ai.azure.com

🧐 Proposed Solution

It seems like its the ordinary openai api but with different api url

📝 Additional Information

n/a

Guida contributor

Tech stack
typescript
Dominio
backend
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
fresh
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
Familiarity with NextChat's provider architectureUnderstanding of OpenAI API compatibility
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75
Direzione di ricerca
Esamina come i provider di modelli esistenti (ad es. OpenAI, Azure) sono configurati nella codebase, probabilmente in una directory providers o in un file di configurazione. Aggiungi una nuova voce provider con URL base 'https://models.inference.ai.azure.com' e autenticazione tramite token di accesso personale GitHub. Fai riferimento alla documentazione di GitHub Models per i dettagli degli endpoint e assicura la compatibilità con i pattern di chiamata API esistenti.