FlowiseAI/Flowise

[FEATURE] SageMaker Endpoint Model

Aperta

#1050 aperta il 13 ott 2023

Vedi su GitHubGuida contributor
 (3 commenti) (1 reazione) (0 assegnatari)TypeScript (24.335 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (52.823 stelle)
Metriche merge PR
 (Merge medio 8g 6h) (15 PR mergiate in 30 g)

Descrizione

Hi, my team and I are trying to implement Flowise for our GenAI projects. We are wondering if there is a way to invoke ChatModels/LLMs/Embeddings through AWS SageMaker Endpoints similar to how HuggingFaceInference Endpoints operate.

For example, we have subscribed to a Cohere Embedding Model via AWS Marketplace and wish to use it as our embedding model as deployed as a SageMaker Endpoint.

Thanks!

Guida contributor

Direzione di ricerca
Studia l'integrazione esistente di HuggingFaceInference in Flowise per comprendere il pattern, poi esplora l'AWS SageMaker SDK per invocare gli endpoint (boto3 o aws sdk js). Implementa un nuovo modulo simile a HuggingFace ma per gli endpoint SageMaker.
Tech stack
typescript
Dominio
backendapimachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
AWS SageMakerTypeScript
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35