Propietario
3 repositorios indexados · Ver en GitHub
-
llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
Python · 4754 estrellas
-
llm-d-router
llm-d Router: The intelligent entry point for inference requests
Go · 378 estrellas
-
llm-d-inference-sim
A lightweight, configurable, and real-time simulator designed to mimic the behavior of vLLM without the need for GPUs or running actual h...
Go · 209 estrellas
Las issues en las que quizá ya trabaja alguien aparecen al final. Ordenar todo por fecha
-
needs-triage
Dificultad 4/5 3-5 días Aptitud para principiantes 57/100
llm-d/llm-d-router#3361 ·
Los mantenedores suelen responder en 1 día
-
area/datalayer area/epp kind/feature needs-triage
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
llm-d/llm-d-router#3358 ·
Los mantenedores suelen responder en 1 día
-
Support nested/derived guidesAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
Los mantenedores suelen responder en 1 día
-
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
llm-d/llm-d-inference-sim#771 ·
Los mantenedores suelen responder en 1 día
-
kind/bug needs-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
llm-d/llm-d-router#3357 ·
Los mantenedores suelen responder en 1 día
-
Run CodeQL on pull requestsAbiertoneeds-triage
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
llm-d/llm-d-router#3353 ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
llm-d/llm-d-router#3343 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
llm-d/llm-d-router#3341 ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 50/100
llm-d/llm-d-router#3308 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 22/100
Los mantenedores suelen responder en 1 día
-
kind/bug needs-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 50/100
llm-d/llm-d-router#3271 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
llm-d/llm-d#2699 · 5 comentarios ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
llm-d/llm-d-router#3221 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100
llm-d/llm-d-router#3214 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 25/100
llm-d/llm-d-router#3205 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
llm-d/llm-d#2657 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
Feature request: capacity-aware scoring based on per-endpoint occupancyQuizá libre de nuevo @satyamg1620 la tomó hace 10 días y no hay ningún pull request abierto. Abiertoneeds-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
llm-d/llm-d-router#3129 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 3/5 1-2 días Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
EPP: scrape vLLM NIXL transfer failure counters per endpointQuizá libre de nuevo @satyamg1620 la tomó hace 12 días y no hay ningún pull request abierto. Abiertoneeds-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
llm-d/llm-d-router#3104 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
kind/bug needs-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
llm-d/llm-d-router#3097 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
Los mantenedores suelen responder en 1 día
-
area/coordinator area/epp kind/feature needs-triage
Dificultad 1/5 1-3 horas Aptitud para principiantes 84/100
llm-d/llm-d-router#3075 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Responses API e2e testsAbiertoneeds-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 67/100
llm-d/llm-d-router#3059 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
llm-d/llm-d-router#3049 ·
Los mantenedores suelen responder en 1 día
-
[Feature]: Agent-Aware KV Cache Affinity Scheduling and Cache ManagementQuizá libre de nuevo @Joyjeet045 la tomó hace 16 días y no hay ningún pull request abierto. Abiertoenhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
llm-d/llm-d#2584 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
llm-d/llm-d-router#3030 · 6 comentarios ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
llm-d/llm-d#2569 · 3 comentarios · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
llm-d/llm-d-router#2999 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
llm-d/llm-d-router#2988 ·
Los mantenedores suelen responder en 1 día
-
Simulator process crashes (nil pointer panic) when the dataset returns an errorPosiblemente ocupada @EugeneVon la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
llm-d/llm-d-inference-sim#772 ·
Los mantenedores suelen responder en 1 día
-
Admitter denials are flattened to 500 Internal, losing status code and drop reasonPosiblemente ocupada @damodaryekkuluri la tomó hoy. Abiertokind/bug needs-triage
llm-d/llm-d-router#3368 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Flaky test: TestZombieCapacityStarvation fails with "request rejected pre-queue"Posiblemente ocupada @iit2009046 la tomó hoy. Abiertoneeds-triage
llm-d/llm-d-router#3366 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[Bug][async-broker] enqueue keeps a request queued after the client disconnects without learning its idPosiblemente ocupada @vmanvs la tomó hoy. Abiertokind/bug needs-triage
Dificultad 4/5 1-2 días Aptitud para principiantes 25/100
llm-d/llm-d-router#3362 ·
Los mantenedores suelen responder en 1 día
-
guides: update precise prefix-cache routing guide with features from llm-d-router#2513Posiblemente ocupada @ahg-g la tomó hoy. Abierto
llm-d/llm-d#2745 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
gosec gate follow-ups: run in presubmit and after a govulncheck failurePosiblemente ocupada @hickeyma la tomó hoy. Abiertoneeds-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
llm-d/llm-d-router#3354 ·
Los mantenedores suelen responder en 1 día
-
Global flow control admission limits with multiple active EPP replicasPosiblemente ocupada @satyamg1620 la tomó hoy. Abiertoarea/epp area/flowcontrol kind/feature needs-triage
llm-d/llm-d-router#3348 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Batch Redis syncer publishes per publication cyclePosiblemente ocupada @delete-cloud la tomó hoy. Abiertoarea/datalayer area/epp kind/performance needs-triage
llm-d/llm-d-router#3347 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Connect EPP peer discovery to a CrossReplicaSyncerPosiblemente ocupada @sudoalok la tomó hoy. Abiertoarea/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3346 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Warm start routing state for new or promoted EPP replicasPosiblemente ocupada @delete-cloud la tomó hoy. Abiertoarea/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3345 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Replicate approximate prefix cache state across active EPP replicasPosiblemente ocupada @satyamg1620 la tomó hoy. Abiertoarea/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3344 · 3 comentarios · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[Bug] P2P self pull checks compare unnormalized IPv6 addressesPosiblemente ocupada @bojiang-li la tomó hace 1 día. Abiertoneeds-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
llm-d/llm-d-router#3336 ·
Los mantenedores suelen responder en 1 día
-
[Bug] Endpoint subset cache keys collide with markers and separatorsPosiblemente ocupada @bojiang-li la tomó hace 1 día. Abiertoneeds-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
llm-d/llm-d-router#3334 ·
Los mantenedores suelen responder en 1 día
-
perf(sglanghttp): /generate parsing boxes every token ID while building the payload mapPosiblemente ocupada @cne27 la tomó hace 1 día. Abiertokind/performance needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 30/100
llm-d/llm-d-router#3332 ·
Los mantenedores suelen responder en 1 día
-
EPP does not count model server errors behind Envoy: status is read from "status", Envoy sends ":status"Posiblemente ocupada @tadler10 la tomó hace 1 día. Abiertoneeds-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
llm-d/llm-d-router#3329 ·
Los mantenedores suelen responder en 1 día
-
Endpoint health: stop routing to endpoints whose metric polls or responses keep failingPosiblemente ocupada @tadler10 la tomó hace 1 día. Abiertoneeds-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
llm-d/llm-d-router#3326 ·
Los mantenedores suelen responder en 1 día
-
kvevents: configurable sub-canonical parent-chain tracker when GCD blockSizeTokens inflates key countsPosiblemente ocupada @ahg-g la tomó hace 1 día. Abiertoneeds-triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
llm-d/llm-d-router#3322 ·
Los mantenedores suelen responder en 1 día
-
test: bump the e2e simulator pin to v0.12.0Posiblemente ocupada @roytman la tomó hace 2 días. Abiertoneeds-triage
llm-d/llm-d-router#3316 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[Observability] Add trace exemplars to the other EPP latency histogramsPosiblemente ocupada @sudoalok la tomó hace 2 días. Abiertoneeds-triage
llm-d/llm-d-router#3313 · 3 comentarios · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 1 día
Mostrando los 100 más recientes
Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.