オーナー
llm-d
索引済みのリポジトリ 3 件 · GitHub で見る
-
llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
Python · スター 4754 個
-
llm-d-router
llm-d Router: The intelligent entry point for inference requests
Go · スター 378 個
-
llm-d-inference-sim
A lightweight, configurable, and real-time simulator designed to mimic the behavior of vLLM without the need for GPUs or running actual h...
Go · スター 209 個
誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示
-
needs-triage
難易度 4/5 3〜5日 初心者へのやさしさ 57/100
llm-d/llm-d-router#3361 ·
メンテナーはふだん 1 日以内に返信
-
area/datalayer area/epp kind/feature needs-triage
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
llm-d/llm-d-router#3358 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 58/100
llm-d/llm-d-inference-sim#771 ·
メンテナーはふだん 1 日以内に返信
-
kind/bug needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 66/100
llm-d/llm-d-router#3357 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
llm-d/llm-d-router#3353 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
llm-d/llm-d-router#3343 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
llm-d/llm-d-router#3341 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 50/100
llm-d/llm-d-router#3308 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 22/100
メンテナーはふだん 1 日以内に返信
-
kind/bug needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 50/100
llm-d/llm-d-router#3271 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
llm-d/llm-d-router#3221 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 5/5 1週間以上 初心者へのやさしさ 45/100
llm-d/llm-d-router#3214 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 25/100
llm-d/llm-d-router#3205 ·
メンテナーはふだん 1 日以内に返信
-
[RFC] coordinator: make kv-offloading work (vLLM OffloadingConnector P2P tier)再び着手できるかも @revit13 が 7 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンarea/coordinator area/epp area/scheduling kind/feature needs-triage
難易度 5/5 1週間以上 初心者へのやさしさ 32/100
llm-d/llm-d-router#3165 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
メンテナーはふだん 1 日以内に返信
-
Feature request: capacity-aware scoring based on per-endpoint occupancy再び着手できるかも @satyamg1620 が 11 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンneeds-triage
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
llm-d/llm-d-router#3129 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
EPP: scrape vLLM NIXL transfer failure counters per endpoint再び着手できるかも @satyamg1620 が 12 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンneeds-triage
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
llm-d/llm-d-router#3104 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
kind/bug needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
llm-d/llm-d-router#3097 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
メンテナーはふだん 1 日以内に返信
-
area/coordinator area/epp kind/feature needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 84/100
llm-d/llm-d-router#3075 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 67/100
llm-d/llm-d-router#3059 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
llm-d/llm-d-router#3049 ·
メンテナーはふだん 1 日以内に返信
-
[Feature]: Agent-Aware KV Cache Affinity Scheduling and Cache Management再び着手できるかも @Joyjeet045 が 17 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
llm-d/llm-d-router#3030 · コメント 6 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
llm-d/llm-d#2569 · コメント 3 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
llm-d/llm-d-router#2999 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
llm-d/llm-d-router#2988 ·
メンテナーはふだん 1 日以内に返信
-
Simulator process crashes (nil pointer panic) when the dataset returns an error対応中かも @EugeneVon が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
llm-d/llm-d-inference-sim#772 ·
メンテナーはふだん 1 日以内に返信
-
Admitter denials are flattened to 500 Internal, losing status code and drop reason対応中かも @damodaryekkuluri が今日担当しました。 オープンkind/bug needs-triage
llm-d/llm-d-router#3368 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Flaky test: TestZombieCapacityStarvation fails with "request rejected pre-queue"対応中かも @iit2009046 が今日担当しました。 オープンneeds-triage
llm-d/llm-d-router#3366 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[Bug][async-broker] enqueue keeps a request queued after the client disconnects without learning its id対応中かも @vmanvs が今日担当しました。 オープンkind/bug needs-triage
難易度 4/5 1〜2日 初心者へのやさしさ 25/100
llm-d/llm-d-router#3362 ·
メンテナーはふだん 1 日以内に返信
-
guides: update precise prefix-cache routing guide with features from llm-d-router#2513対応中かも @ahg-g が今日担当しました。 オープン
メンテナーはふだん 1 日以内に返信
-
gosec gate follow-ups: run in presubmit and after a govulncheck failure対応中かも @hickeyma が今日担当しました。 オープンneeds-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
llm-d/llm-d-router#3354 ·
メンテナーはふだん 1 日以内に返信
-
Global flow control admission limits with multiple active EPP replicas対応中かも @satyamg1620 が 1 日前に担当しました。 オープンarea/epp area/flowcontrol kind/feature needs-triage
llm-d/llm-d-router#3348 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Batch Redis syncer publishes per publication cycle対応中かも @delete-cloud が今日担当しました。 オープンarea/datalayer area/epp kind/performance needs-triage
llm-d/llm-d-router#3347 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Connect EPP peer discovery to a CrossReplicaSyncer対応中かも @sudoalok が 1 日前に担当しました。 オープンarea/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3346 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Warm start routing state for new or promoted EPP replicas対応中かも @delete-cloud が今日担当しました。 オープンarea/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3345 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Replicate approximate prefix cache state across active EPP replicas対応中かも @satyamg1620 が 1 日前に担当しました。 オープンarea/datalayer area/epp kind/feature needs-triage
llm-d/llm-d-router#3344 · コメント 3 件 · リアクション 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[Bug] P2P self pull checks compare unnormalized IPv6 addresses対応中かも @bojiang-li が 1 日前に担当しました。 オープンneeds-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
llm-d/llm-d-router#3336 ·
メンテナーはふだん 1 日以内に返信
-
[Bug] Endpoint subset cache keys collide with markers and separators対応中かも @bojiang-li が 1 日前に担当しました。 オープンneeds-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
llm-d/llm-d-router#3334 ·
メンテナーはふだん 1 日以内に返信
-
perf(sglanghttp): /generate parsing boxes every token ID while building the payload map対応中かも @cne27 が 1 日前に担当しました。 オープンkind/performance needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 30/100
llm-d/llm-d-router#3332 ·
メンテナーはふだん 1 日以内に返信
-
EPP does not count model server errors behind Envoy: status is read from "status", Envoy sends ":status"対応中かも @tadler10 が 1 日前に担当しました。 オープンneeds-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
llm-d/llm-d-router#3329 ·
メンテナーはふだん 1 日以内に返信
-
Endpoint health: stop routing to endpoints whose metric polls or responses keep failing対応中かも @tadler10 が 1 日前に担当しました。 オープンneeds-triage
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
llm-d/llm-d-router#3326 ·
メンテナーはふだん 1 日以内に返信
-
kvevents: configurable sub-canonical parent-chain tracker when GCD blockSizeTokens inflates key counts対応中かも @ahg-g が 2 日前に担当しました。 オープンneeds-triage
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
llm-d/llm-d-router#3322 ·
メンテナーはふだん 1 日以内に返信
-
test: bump the e2e simulator pin to v0.12.0対応中かも @roytman が 2 日前に担当しました。 オープンneeds-triage
llm-d/llm-d-router#3316 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
最新の 100 件のみ表示しています
このページには最近登録されたものだけが並びます。全件は詳細フィルターにあり、言語・難易度・所要時間で絞り込めます。