mem0ai/mem0

feat(ts-sdk): add vLLM LLM provider

Open

#5 761 ouverte le 23 juin 2026

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (6 343 forks)batch import
enhancementgood first issuehelp wantedsdk-typescriptsize:S

Métriques du dépôt

Stars
 (55 741 stars)
Métriques de merge PR
 (Merge moyen 6j 11h) (208 PRs mergées en 30 j)

Description

Summary

The Python SDK supports vLLM as an LLM provider, but the TypeScript OSS SDK (mem0ai/oss) does not. Add it to bring the TS SDK to parity.
Python reference mem0/llms/vllm.py
Registered in (Python) mem0/utils/factory.py (LLMFactory)
Target file (TypeScript) mem0-ts/src/oss/src/llms/vllm.ts
Suggested implementation OpenAI-compatible — subclass OpenAILLM; baseURL points to the user's vLLM server.

Requirements

  • Implement VllmLLM in mem0-ts/src/oss/src/llms/vllm.ts, extending LLM (mem0-ts/src/oss/src/llms/base.ts) and mirroring the Python provider's behavior (generateResponse / generateChat).
  • Register the "vllm" provider in mem0-ts/src/oss/src/utils/factory.ts (LLMFactory).
  • Add config typing in mem0-ts/src/oss/src/types/.
  • Add a unit test under mem0-ts/src/oss/src/tests/.
  • No new dependency — reuse the existing openai client with a custom baseURL.
  • Update docs under docs/ if this provider is user-facing.

Reference pattern

Mirror an existing TS provider: llms/deepseek.ts (OpenAI-compatible) or llms/openai.ts.

Notes

vLLM serves an OpenAI-compatible endpoint; the baseURL is user-supplied (no hosted default).

Part of the TypeScript ↔ Python SDK provider-parity effort. One provider per issue (atomic).

Guide contributeur

Direction de recherche
Examinez les fournisseurs compatibles OpenAI existants (par exemple, deepseek.ts) pour modeler la classe VllmLLM. Référez vous à l'implémentation Python dans mem0/llms/vllm.py pour le comportement. Implémentez le fournisseur dans mem0 ts/src/oss/src/llms/vllm.ts, enregistrez le dans factory.ts, ajoutez les types et écrivez un test. Aucune nouvelle dépendance nécessaire.
Stack technique
typescript
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
TypeScriptGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
80