mem0ai/mem0

feat(ts-sdk): add vLLM LLM provider

Open

#5761 aperta il 23 giu 2026

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (6343 fork)batch import
enhancementgood first issuehelp wantedsdk-typescriptsize:S

Metriche repository

Star
 (55.741 star)
Metriche merge PR
 (Merge medio 6g 11h) (208 PR mergiate in 30 g)

Descrizione

Summary

The Python SDK supports vLLM as an LLM provider, but the TypeScript OSS SDK (mem0ai/oss) does not. Add it to bring the TS SDK to parity.
Python reference mem0/llms/vllm.py
Registered in (Python) mem0/utils/factory.py (LLMFactory)
Target file (TypeScript) mem0-ts/src/oss/src/llms/vllm.ts
Suggested implementation OpenAI-compatible — subclass OpenAILLM; baseURL points to the user's vLLM server.

Requirements

  • Implement VllmLLM in mem0-ts/src/oss/src/llms/vllm.ts, extending LLM (mem0-ts/src/oss/src/llms/base.ts) and mirroring the Python provider's behavior (generateResponse / generateChat).
  • Register the "vllm" provider in mem0-ts/src/oss/src/utils/factory.ts (LLMFactory).
  • Add config typing in mem0-ts/src/oss/src/types/.
  • Add a unit test under mem0-ts/src/oss/src/tests/.
  • No new dependency — reuse the existing openai client with a custom baseURL.
  • Update docs under docs/ if this provider is user-facing.

Reference pattern

Mirror an existing TS provider: llms/deepseek.ts (OpenAI-compatible) or llms/openai.ts.

Notes

vLLM serves an OpenAI-compatible endpoint; the baseURL is user-supplied (no hosted default).

Part of the TypeScript ↔ Python SDK provider-parity effort. One provider per issue (atomic).

Guida contributor

Direzione di ricerca
Esamina i provider compatibili con OpenAI esistenti (es. deepseek.ts) per modellare la classe VllmLLM. Fai riferimento all'implementazione Python in mem0/llms/vllm.py per il comportamento. Implementa il provider in mem0 ts/src/oss/src/llms/vllm.ts, registralo in factory.ts, aggiungi i tipi e scrivi un test. Nessuna nuova dipendenza necessaria.
Tech stack
typescript
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
TypeScriptGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
80