SylphAI-Inc/AdalFlow

LitServe Integration

Aperta

#290 aperta il 30 nov 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (385 fork)github user discovery
[adalflow] suggest integrationhelp wanted

Metriche repository

Star
 (4207 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Description & Motivation

Litserve is one of the model that can serve more optimized performance more than vLLM and oLLama

Pitch

Integration of LitServe like oLlama

Alternatives

No response

Additional context

Consider this issue if you find usefull

Guida contributor

Direzione di ricerca
Esamina l'API di LitServe e come differisce da vLLM e Ollama; esamina i modelli di integrazione esistenti di AdalFlow per aggiungere un nuovo provider per LitServe.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40