FlowiseAI/Flowise

[FEATURE] SageMaker Endpoint Model

Open

#1.050 geöffnet am 13. Okt. 2023

Auf GitHub ansehen
 (3 Kommentare) (1 Reaktion) (0 zugewiesene Personen)TypeScript (24.335 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (52.823 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 8T 6h) (15 gemergte PRs in 30 T)

Beschreibung

Hi, my team and I are trying to implement Flowise for our GenAI projects. We are wondering if there is a way to invoke ChatModels/LLMs/Embeddings through AWS SageMaker Endpoints similar to how HuggingFaceInference Endpoints operate.

For example, we have subscribed to a Cohere Embedding Model via AWS Marketplace and wish to use it as our embedding model as deployed as a SageMaker Endpoint.

Thanks!

Contributor Guide

Research-Richtung
Untersuche die bestehende HuggingFaceInference Integration in Flowise, um das Muster zu verstehen, und erkunde dann das AWS SageMaker SDK zum Aufrufen von Endpunkten (boto3 oder aws sdk js). Implementiere ein neues Modul ähnlich wie HuggingFace, jedoch für SageMaker Endpunkte.
Tech Stack
typescript
Domain
backendapimachine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
AWS SageMakerTypeScript
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35