ChatGPTNextWeb/NextChat

[Feature Request] Support for Github Models

Open

#5.637 geöffnet am 11. Okt. 2024

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)TypeScript (87.992 Stars) (59.717 Forks)batch import
enhancementhelp wanted

Beschreibung

🥰 Feature Description

I would love to use https://github.com/marketplace/models/

Here is where to get the access key: https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/managing-your-personal-access-tokens

The api endpoint is https://models.inference.ai.azure.com

🧐 Proposed Solution

It seems like its the ordinary openai api but with different api url

📝 Additional Information

n/a

Contributor Guide

Tech Stack
typescript
Domain
backend
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
fresh
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
Familiarity with NextChat's provider architectureUnderstanding of OpenAI API compatibility
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75
Research-Richtung
Examine how existing model providers (e.g., OpenAI, Azure) are configured in the codebase, likely in a providers directory or configuration file. Add a new provider entry with base URL 'https://models.inference.ai.azure.com' and authentication using a GitHub personal access token. Refer to GitHub Models documentation for endpoint details and ensure compatibility with the existing API call patterns.