Repository Issues
vllm-project/semantic-router
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
Issues
Offen
Modularize native router model bindings and runtime capability contracts
area/coreenhancementhelp wantedpriority/P1roadmap
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen0 zugewiesene Personen
Offen
perf: define MIGraphX-first ONNX Runtime provider strategy for AMD router signal models
area/bencharea/environmentenhancementenvironment/rocmevaluationhelp wantedoperationspriority/P1roadmap
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
research: evaluate base + multi-LoRA serving for router classifier assets
area/bencharea/momarea/researchenhancementenvironment/rocmevaluationhelp wantedpriority/P1roadmapsignal-decision-engine
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen1 zugewiesene Person
Offen
feat: define preference-driven recipe objective spec for offline tuning
area/agentarea/model-selectionarea/researchenhancementevaluationhelp wantedpriority/P2roadmapsignal-decision-engine
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: define next-generation router base model and model family
area/bencharea/researchenhancementenvironment/rocmevaluationhelp wantedpriority/P1roadmapsignal-decision-engine
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen0 zugewiesene Personen
Offen
test: revisit E2E framework and testcase matrix across Docker and Kubernetes
area/environmentarea/test-and-releasearea/testinge2eenhancementhelp wantedoperationspriority/P1roadmap
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
2 Kommentare0 Reaktionen0 zugewiesene Personen
Geschlossen
recipes: tune out-of-box presets for balance, cost, accuracy, speed, privacy, and grounding
area/docsarea/model-selectionarea/user-experiencedocumentationenhancementevaluationhelp wantedpriority/P1roadmap
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen0 zugewiesene Personen
Offen
feat: add TensorRT-LLM and Triton TensorRT-LLM inference-aware backend adapter
area/model-selectionarea/observabilityenhancementhelp wantedoperationspriority/P1roadmap
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
3 Kommentare0 Reaktionen1 zugewiesene Person
Offen
ops: revisit Docker and Kubernetes backend endpoint support completeness
area/dashboardarea/environmentarea/networkingenhancementhelp wantedoperationspriority/P1roadmap
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen1 zugewiesene Person
Offen
quality: audit and harden router code quality, security, and API boundaries
area/corearea/testingenhancementhelp wantedpriority/P1roadmapsafety
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
feat: support NVIDIA DGX Spark edge deployments with local and external model routing
area/environmentarea/model-selectionarea/user-experienceenhancementhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
feat: support AMD AI PC edge deployments with local and external model routing
area/environmentarea/model-selectionarea/user-experienceenhancementenvironment/rocmhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
perf: analyze and optimize ROCm production performance for high concurrency and long context
area/bencharea/environmentenhancementenvironment/rocmevaluationhelp wantedoperationspriority/P1roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: add drift and unrouted-query clustering with privacy controls
area/dashboardarea/observabilityenhancementevaluationhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: add frontend routing analytics views for dashboard
area/dashboardarea/observabilityarea/user-experienceenhancementhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: add backend analytics read model for routing quality dashboards
area/dashboardarea/observabilityenhancementhelp wantedpriority/P2roadmap
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen1 zugewiesene Person
Offen
feat: add approval, activation, and rollback flow for agentic config tuning
area/agentarea/model-selectionarea/researchenhancementhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: define agentic config proposal and patch contract
area/agentarea/model-selectionarea/researchenhancementhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: add Router Memory diagnostics and fail-open runtime receipts
area/agentarea/corearea/observabilityenhancementhelp wantedpriority/P1roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: define shared-resource isolation and diagnostics for multi-tenancy
area/corearea/observabilityenhancementhelp wantedoperationspriority/P1roadmap
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
2 Kommentare0 Reaktionen1 zugewiesene Person