FlowiseAI/Flowise

[FEATURE] SageMaker Endpoint Model

Open

#1 050 ouverte le 13 oct. 2023

Voir sur GitHub
 (3 commentaires) (1 réaction) (0 assignés)TypeScript (52 823 stars) (24 335 forks)batch import
enhancementhelp wanted

Description

Hi, my team and I are trying to implement Flowise for our GenAI projects. We are wondering if there is a way to invoke ChatModels/LLMs/Embeddings through AWS SageMaker Endpoints similar to how HuggingFaceInference Endpoints operate.

For example, we have subscribed to a Cohere Embedding Model via AWS Marketplace and wish to use it as our embedding model as deployed as a SageMaker Endpoint.

Thanks!

Guide contributeur

Stack technique
typescriptaws
Domaine
backendcloud
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 days
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
fresh
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
AWS SageMaker knowledgeFlowise development setup
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35
Direction de recherche
This issue requests support for AWS SageMaker endpoints similar to existing HuggingFace Inference integration. Implementation would require creating a new credential type and node for ChatModels/LLMs/Embeddings using AWS SDK v3. Relevant files to examine are in packages/components/nodes/chatmodels and embeddings. The maintainer has not yet provided specific guidance; reviewing existing HuggingFace node patterns will help. The user did not specify model details, so flexibility is needed.