Owner
llm-d
已索引 3 个仓库 · 在 GitHub 查看
-
llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
Python · 4754 个 star
-
llm-d-router
llm-d Router: The intelligent entry point for inference requests
Go · 378 个 star
-
llm-d-inference-sim
A lightweight, configurable, and real-time simulator designed to mimic the behavior of vLLM without the need for GPUs or running actual h...
Go · 209 个 star
可能已有人在做的 issue 排在最后。 全部按时间排序
-
area/datalayer area/epp kind/feature needs-triage
难度 4/5 3-5 天 新手友好度 45/100
llm-d/llm-d-router#3358 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 58/100
llm-d/llm-d-inference-sim#771 ·
维护者通常 1 天内回复
-
needs-triage
难度 4/5 3-5 天 新手友好度 35/100
llm-d/llm-d-router#3353 ·
维护者通常 1 天内回复
-
needs-triage
难度 5/5 一周以上 新手友好度 30/100
llm-d/llm-d-router#3343 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 45/100
维护者通常 1 天内回复
-
needs-triage
难度 3/5 1-2 天 新手友好度 68/100
llm-d/llm-d-router#3341 ·
维护者通常 1 天内回复
-
needs-triage
难度 3/5 1-2 天 新手友好度 50/100
llm-d/llm-d-router#3308 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 22/100
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
维护者通常 1 天内回复
-
needs-triage
难度 5/5 一周以上 新手友好度 35/100
llm-d/llm-d-router#3221 · 4 条评论 ·
维护者通常 1 天内回复
-
needs-triage
难度 5/5 一周以上 新手友好度 45/100
llm-d/llm-d-router#3214 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 25/100
llm-d/llm-d-router#3205 ·
维护者通常 1 天内回复
-
[RFC] coordinator: make kv-offloading work (vLLM OffloadingConnector P2P tier)可能重新可做 @revit13 于 7 天前认领，目前没有进行中的 PR。 未关闭area/coordinator area/epp area/scheduling kind/feature needs-triage
难度 5/5 一周以上 新手友好度 32/100
llm-d/llm-d-router#3165 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
维护者通常 1 天内回复
-
Feature request: capacity-aware scoring based on per-endpoint occupancy可能重新可做 @satyamg1620 于 11 天前认领，目前没有进行中的 PR。 未关闭needs-triage
难度 5/5 一周以上 新手友好度 25/100
llm-d/llm-d-router#3129 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 72/100
维护者通常 1 天内回复
-
EPP: scrape vLLM NIXL transfer failure counters per endpoint可能重新可做 @satyamg1620 于 13 天前认领，目前没有进行中的 PR。 未关闭needs-triage
难度 3/5 1-2 天 新手友好度 65/100
llm-d/llm-d-router#3104 · 1 条评论 ·
维护者通常 1 天内回复
-
kind/bug needs-triage
难度 3/5 1-2 天 新手友好度 55/100
llm-d/llm-d-router#3097 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 42/100
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 20/100
维护者通常 1 天内回复
-
area/coordinator area/epp kind/feature needs-triage
难度 1/5 1-3 小时 新手友好度 84/100
llm-d/llm-d-router#3075 · 1 条评论 ·
维护者通常 1 天内回复
-
needs-triage
难度 3/5 1-2 天 新手友好度 67/100
llm-d/llm-d-router#3059 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 45/100
llm-d/llm-d-router#3049 ·
维护者通常 1 天内回复
-
[Feature]: Agent-Aware KV Cache Affinity Scheduling and Cache Management可能重新可做 @Joyjeet045 于 17 天前认领，目前没有进行中的 PR。 未关闭enhancement
难度 5/5 一周以上 新手友好度 25/100
维护者通常 1 天内回复
-
needs-triage
难度 5/5 一周以上 新手友好度 35/100
llm-d/llm-d-router#3030 · 6 条评论 ·
维护者通常 1 天内回复
-
enhancement
难度 5/5 一周以上 新手友好度 35/100
llm-d/llm-d#2569 · 3 条评论 · 1 个 reaction ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
llm-d/llm-d-router#2999 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
llm-d/llm-d-router#2988 ·
维护者通常 1 天内回复
-
Simulator process crashes (nil pointer panic) when the dataset returns an error可能已有人在做 @EugeneVon 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
llm-d/llm-d-inference-sim#772 ·
维护者通常 1 天内回复
-
Admitter denials are flattened to 500 Internal, losing status code and drop reason可能已有人在做 @damodaryekkuluri 于 1 天前认领。 未关闭kind/bug needs-triage
llm-d/llm-d-router#3368 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Flaky test: TestZombieCapacityStarvation fails with "request rejected pre-queue"可能已有人在做 @iit2009046 于 1 天前认领。 未关闭needs-triage
llm-d/llm-d-router#3366 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
[Bug][async-broker] enqueue keeps a request queued after the client disconnects without learning its id可能已有人在做 @vmanvs 于 1 天前认领。 未关闭kind/bug needs-triage
难度 4/5 1-2 天 新手友好度 25/100
llm-d/llm-d-router#3362 ·
维护者通常 1 天内回复
-
lora-affinity-scorer starves a vLLM pod that has not served a request yet (MaxActiveModels reads as 0)可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭needs-triage
难度 4/5 3-5 天 新手友好度 57/100
llm-d/llm-d-router#3361 ·
维护者通常 1 天内回复
-
guides: update precise prefix-cache routing guide with features from llm-d-router#2513可能已有人在做 @ahg-g 于 1 天前认领。 未关闭
维护者通常 1 天内回复
-
SGLang HTTP parser does not propagate model name for precise prefix-cache routing可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭kind/bug needs-triage
难度 3/5 1-2 天 新手友好度 66/100
llm-d/llm-d-router#3357 ·
维护者通常 1 天内回复
-
gosec gate follow-ups: run in presubmit and after a govulncheck failure可能已有人在做 @hickeyma 于 1 天前认领。 未关闭needs-triage
难度 2/5 1-3 小时 新手友好度 75/100
llm-d/llm-d-router#3354 ·
维护者通常 1 天内回复
-
Global flow control admission limits with multiple active EPP replicas可能已有人在做 @satyamg1620 于 1 天前认领。 未关闭area/epp area/flowcontrol kind/feature needs-triage
llm-d/llm-d-router#3348 · 2 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Batch Redis syncer publishes per publication cycle可能已有人在做 @delete-cloud 于 1 天前认领。 未关闭area/datalayer area/epp kind/performance needs-triage
llm-d/llm-d-router#3347 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Connect EPP peer discovery to a CrossReplicaSyncer可能已有人在做 @sudoalok 于 1 天前认领。 未关闭area/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3346 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Warm start routing state for new or promoted EPP replicas可能已有人在做 @delete-cloud 于 1 天前认领。 未关闭area/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3345 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Replicate approximate prefix cache state across active EPP replicas可能已有人在做 @satyamg1620 于 1 天前认领。 未关闭area/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3344 · 3 条评论 · 1 个 reaction · 已指派 1 人 ·
维护者通常 1 天内回复
-
[Bug] P2P self pull checks compare unnormalized IPv6 addresses可能已有人在做 @bojiang-li 于 1 天前认领。 未关闭needs-triage
难度 2/5 1-3 小时 新手友好度 78/100
llm-d/llm-d-router#3336 ·
维护者通常 1 天内回复
-
[Bug] Endpoint subset cache keys collide with markers and separators可能已有人在做 @bojiang-li 于 1 天前认领。 未关闭needs-triage
难度 2/5 1-3 小时 新手友好度 73/100
llm-d/llm-d-router#3334 ·
维护者通常 1 天内回复
-
perf(sglanghttp): /generate parsing boxes every token ID while building the payload map可能已有人在做 @cne27 于 1 天前认领。 未关闭kind/performance needs-triage
难度 2/5 1-3 小时 新手友好度 30/100
llm-d/llm-d-router#3332 ·
维护者通常 1 天内回复
-
EPP does not count model server errors behind Envoy: status is read from "status", Envoy sends ":status"可能已有人在做 @tadler10 于 1 天前认领。 未关闭needs-triage
难度 2/5 1-3 小时 新手友好度 35/100
llm-d/llm-d-router#3329 ·
维护者通常 1 天内回复
-
Endpoint health: stop routing to endpoints whose metric polls or responses keep failing可能已有人在做 @tadler10 于 1 天前认领。 未关闭needs-triage
难度 5/5 一周以上 新手友好度 35/100
llm-d/llm-d-router#3326 ·
维护者通常 1 天内回复
-
kvevents: configurable sub-canonical parent-chain tracker when GCD blockSizeTokens inflates key counts可能已有人在做 @ahg-g 于 2 天前认领。 未关闭needs-triage
难度 5/5 一周以上 新手友好度 25/100
llm-d/llm-d-router#3322 ·
维护者通常 1 天内回复
-
test: bump the e2e simulator pin to v0.12.0可能已有人在做 @roytman 于 3 天前认领。 未关闭needs-triage
llm-d/llm-d-router#3316 · 已指派 1 人 ·
维护者通常 1 天内回复
-
[Observability] Add trace exemplars to the other EPP latency histograms可能已有人在做 @sudoalok 于 3 天前认领。 未关闭needs-triage
llm-d/llm-d-router#3313 · 3 条评论 · 1 个 reaction · 已指派 1 人 ·
维护者通常 1 天内回复
只显示最新的 100 条
这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。