FlowiseAI/Flowise

[FEATURE] SageMaker Endpoint Model

Open

#1 050 ouverte le 13 oct. 2023

Voir sur GitHub
 (3 commentaires) (1 réaction) (0 assignés)TypeScript (24 335 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (52 823 stars)
Métriques de merge PR
 (Merge moyen 8j 6h) (15 PRs mergées en 30 j)

Description

Hi, my team and I are trying to implement Flowise for our GenAI projects. We are wondering if there is a way to invoke ChatModels/LLMs/Embeddings through AWS SageMaker Endpoints similar to how HuggingFaceInference Endpoints operate.

For example, we have subscribed to a Cohere Embedding Model via AWS Marketplace and wish to use it as our embedding model as deployed as a SageMaker Endpoint.

Thanks!

Guide contributeur

Direction de recherche
Étudiez l'intégration existante de HuggingFaceInference dans Flowise pour comprendre le modèle, puis explorez le SDK AWS SageMaker pour invoquer des points de terminaison (boto3 ou aws sdk js). Implémentez un nouveau module similaire à HuggingFace mais pour les points de terminaison SageMaker.
Stack technique
typescript
Domaine
backendapimachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
AWS SageMakerTypeScript
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35