Repository Issues
vllm-project/semantic-router
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
Issues
Offen
feat: extend the routing DSL with WRP governance-as-code constraints
area/corearea/model-selectionarea/researchenhancementhelp wantedpriority/P1roadmapsafety
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: evaluate energy-aware backend/LB policy from FleetSim power models
area/model-selectionarea/observabilityarea/researchenhancementevaluationhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: provision fleets for mixed workload archetype distributions
area/bencharea/model-selectionarea/researchenhancementevaluationhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
research: co-optimize FleetSim compression band and pool boundary
area/bencharea/model-selectionarea/researchenhancementevaluationhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen0 zugewiesene Personen
Offen
research: forecast workload archetypes for proactive per-pool scaling
area/bencharea/observabilityarea/researchenhancementevaluationhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
feat: bridge existing retention directives to backend KV-cache adapters
area/corearea/model-selectionarea/multi-turnenhancementhelp wantedoperationspriority/P1roadmap
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen1 zugewiesene Person
Offen
research: evaluate capacity-aware cascade admission below semantic routing
area/model-selectionarea/researchenhancementevaluationhelp wantedoperationspriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: predict prompt-plus-output demand for downstream pool admission
area/bencharea/model-selectionarea/observabilityarea/researchenhancementevaluationhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: add follow-the-sun pool-boundary and capacity recommendations
area/bencharea/model-selectionarea/observabilityenhancementevaluationhelp wantedoperationspriority/P1roadmap
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen1 zugewiesene Person
Offen
research: enforce typed cross-request behavioral commitments
area/agentarea/corearea/multi-turnarea/researchenhancementevaluationhelp wantedpriority/P2roadmapsafety
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: add fleet-wide caller reputation with cross-agent threat propagation
area/agentarea/corearea/researchenhancementevaluationhelp wantedpriority/P2roadmapsafety
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
feat: enforce request-level tool RBAC across router and execution gateway
area/agentarea/corearea/networkingarea/tool-managementenhancementhelp wantedpriority/P1roadmapsafety
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: coordinate agent memory tiers, tool surfaces, and scheduler hints at the gateway
area/agentarea/corearea/multi-turnarea/researcharea/tool-managementenhancementevaluationhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: learn joint tool-model routing from fleet outcomes
area/agentarea/model-selectionarea/researcharea/tool-managementenhancementevaluationhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
1 Kommentar0 Reaktionen0 zugewiesene Personen
Offen
research: route on typed failure experience from Router Replay
area/agentarea/model-selectionarea/observabilityarea/researchenhancementevaluationhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: add cumulative multi-turn and per-caller risk scoring
area/agentarea/multi-turnarea/researchenhancementevaluationhelp wantedpriority/P2roadmapsafety
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
research: train and evaluate offline RL for session-length-minimizing routing
area/agentarea/model-selectionarea/multi-turnarea/researchenhancementevaluationhelp wantedpriority/P2roadmap
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
dashboard: make credential lifecycle audit events transactionally durable
area/dashboardbughelp wantedpriority/P2roadmapsafety
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
api: bound and type external RAG request templates and responses
area/corearea/networkingbughelp wantedpriority/P2roadmapsafetystale
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
2 Kommentare0 Reaktionen1 zugewiesene Person
Offen
bindings/CI: restore ONNX Go test compilation and make it mandatory
area/corearea/test-and-releasearea/testingbugenvironment/rocmhelp wantedpriority/P1roadmapstale
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
2 Kommentare0 Reaktionen0 zugewiesene Personen