vllm-project/production-stack

誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示

• Router doesn't proxy /reset_prefix_cache, unlike /sleep//wake_up//is_sleeping

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 78/100

  vllm-project/production-stack#1105 · 2026年9月25日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: expose uvicorn timeout_keep_alive as a router flag

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 2/5 1〜3時間 初心者へのやさしさ 72/100

  vllm-project/production-stack#1102 · 2026年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: router keeps a deleted pod as a healthy backend when a DELETED event is missed during a watch reconnect

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 70/100

  vllm-project/production-stack#1091 · 2026年9月16日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Support Kubernetes Dynamic Resource Allocation (DRA) for GPU scheduling in Helm chart

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 55/100

  vllm-project/production-stack#1087 · コメント 1 件 · 2026年9月13日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: StaticServiceDiscovery validates one of four index-aligned lists, so a mismatch gives an IndexError at request time and a truncated health-check pass

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 84/100

  vllm-project/production-stack#1083 · コメント 3 件 · 2026年9月10日 に作成

  メンテナーはふだん 1 日以内に返信

• [Bug][Router] Unrecognized metric names yield an all-zero EngineStats that looks healthy — load-aware routing silently degrades to random

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 68/100

  vllm-project/production-stack#1074 · 2026年9月2日 に作成

  メンテナーはふだん 1 日以内に返信

• [Bug][Router] PrefixAwareRouter's below-threshold fallback uses stale QPS and starves one backend under session affinity

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 55/100

  vllm-project/production-stack#1073 · コメント 1 件 · 2026年9月2日 に作成

  メンテナーはふだん 1 日以内に返信

• [Feature] Support hybrid-attention models (Qwen3.8-27B, Qwen3.5/3.6, GLM, Kimi-Linear) with LMCache MP mode (LMCacheMPConnector)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 4/5 3〜5日 初心者へのやさしさ 55/100

  vllm-project/production-stack#1059 · コメント 2 件 · 2026年8月27日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: LMCache cache server livenessProbe is incompatible with LMCache v0.5.4 image

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 2/5 1〜3時間 初心者へのやさしさ 76/100

  vllm-project/production-stack#1057 · 2026年8月27日 に作成

  メンテナーはふだん 1 日以内に返信

• Static-discovery /v1/models drops backend metadata — no way to advertise max_model_len

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  vllm-project/production-stack#1049 · コメント 2 件 · 2026年8月24日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: servingEngineSpec to support statefulSets for modelSpec

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 5/5 1週間以上 初心者へのやさしさ 45/100

  vllm-project/production-stack#1034 · 2026年8月7日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Add Apache APISIX as an optional Gateway API controller

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  vllm-project/production-stack#1028 · 2026年8月1日 に作成

  メンテナーはふだん 1 日以内に返信

• refactor: standardize route_request signature across all routers

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 68/100

  vllm-project/production-stack#1022 · 2026年7月28日 に作成

  メンテナーはふだん 1 日以内に返信

• KvawareRouter blocks the event loop per request (sync tokenizer fetch + /tokenize POST + controller lookup) — health probes starve, router CrashLoops under load

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  vllm-project/production-stack#1016 · コメント 3 件 · 2026年7月26日 に作成

  メンテナーはふだん 1 日以内に返信

• Router returns fatal 404 (not retryable 503) for a scaled-to-zero model when the router pod started while the pool was at 0 replicas

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  vllm-project/production-stack#1003 · 2026年7月21日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: The VLLMRuntime controller fails on every reconciliation when running on a cluster that does not have KEDA installed

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 2/5 1〜3時間 初心者へのやさしさ 72/100

  vllm-project/production-stack#981 · コメント 1 件 · 2026年6月22日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: add Uvicorn logging parameters to `vllm_router`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 3/5 1〜2日 初心者へのやさしさ 55/100

  vllm-project/production-stack#967 · 2026年6月3日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: add first-class multi-node multiprocessing deployment support

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  vllm-project/production-stack#930 · コメント 1 件 · リアクション 1 件 · 2026年4月26日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Implement Anthropic external provider (Phase 2)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 4/5 3〜5日 初心者へのやさしさ 58/100

  vllm-project/production-stack#928 · コメント 1 件 · リアクション 1 件 · 2026年4月22日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: LMCache cacheserver OOMKilled

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 3/5 1〜2日 初心者へのやさしさ 58/100

  vllm-project/production-stack#923 · コメント 4 件 · リアクション 1 件 · 2026年4月17日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: per-alias reasoning_effort for backward-compatible model migration

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 55/100

  vllm-project/production-stack#911 · リアクション 1 件 · 2026年4月10日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: crd ressources : split request and limit ressources

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 3/5 1〜2日 初心者へのやさしさ 45/100

  vllm-project/production-stack#901 · コメント 2 件 · リアクション 1 件 · 2026年3月29日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: lmCacheConfig with Blackwell 6000 pro and CUDA 13

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 43/100

  vllm-project/production-stack#893 · コメント 4 件 · 2026年3月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Router default memory limit (500Mi) causes OOMKilled in real cluster deployments

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 58/100

  vllm-project/production-stack#858 · コメント 2 件 · 2026年2月27日 に作成

  メンテナーはふだん 1 日以内に返信

• [Roadmap] vLLM Production Stack 2026 Roadmap

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  vllm-project/production-stack#855 · コメント 12 件 · リアクション 9 件 · 2026年2月27日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Helm chart improvements

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  vllm-project/production-stack#840 · コメント 2 件 · 2026年2月19日 に作成

  メンテナーはふだん 1 日以内に返信

• Air gapped support

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  vllm-project/production-stack#838 · コメント 3 件 · 2026年2月17日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Add extra Vllm dashboard production oriented metrics

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  vllm-project/production-stack#828 · コメント 2 件 · リアクション 2 件 · 2026年2月6日 に作成

  メンテナーはふだん 1 日以内に返信

• Lmcache Dashboard problem

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 3/5 1〜2日 初心者へのやさしさ 42/100

  vllm-project/production-stack#818 · コメント 1 件 · 2026年2月2日 に作成

  メンテナーはふだん 1 日以内に返信

• Difference between lmcache/vllm-openai v0.3.12 vs v0.3.12-lightweight

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  vllm-project/production-stack#796 · コメント 1 件 · 2026年1月23日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: global registry in helm chart

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 2/5 1〜3時間 初心者へのやさしさ 48/100

  vllm-project/production-stack#785 · 2026年1月19日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: allow multiple api keys in `servingEngineSpec.vllmApiKey`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 3/5 1〜2日 初心者へのやさしさ 48/100

  vllm-project/production-stack#759 · コメント 1 件 · リアクション 4 件 · 2025年11月19日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: vllm-router during Disaggregated Prefill fails w/ `error: unrecognized arguments: --k8s-service-discovery-type pod-ip`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 2/5 1〜3時間 初心者へのやさしさ 48/100

  vllm-project/production-stack#746 · コメント 1 件 · 2025年10月31日 に作成

  メンテナーはふだん 1 日以内に返信

• Readiness probe for multi-node setup cannot be customized and might make the Ray head pod unready

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  vllm-project/production-stack#742 · 2025年10月29日 に作成

  メンテナーはふだん 1 日以内に返信

• Any reason for "latest" tag in lmcache/vllm-openai image?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 45/100

  vllm-project/production-stack#734 · リアクション 1 件 · 2025年10月14日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: lmcache remote server consistently disconnected from client side

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  vllm-project/production-stack#723 · 2025年10月6日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: [RFC] llama.cpp CPU Backend Integration for Production Stack

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 5/5 1週間以上 初心者へのやさしさ 30/100

  vllm-project/production-stack#713 · コメント 1 件 · 2025年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: potential rotuer memory leak

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  vllm-project/production-stack#707 · 2025年9月19日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: [lmcache/lmstack-router] Router does not forward request after uncertain amount of time

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  vllm-project/production-stack#706 · コメント 4 件 · 2025年9月19日 に作成

  メンテナーはふだん 1 日以内に返信

• Feature Request: Add Prometheus Metrics for Monitoring Models via vLLM Router

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  vllm-project/production-stack#699 · コメント 7 件 · リアクション 20 件 · 2025年9月17日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: router crashes because of OOM and prefix cache HashTrie memory usage is unbounded

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 38/100

  vllm-project/production-stack#687 · コメント 3 件 · リアクション 1 件 · 2025年9月8日 に作成

  メンテナーはふだん 1 日以内に返信

• vllm_router : add debug headers in the response

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 3/5 1〜2日 初心者へのやさしさ 48/100

  vllm-project/production-stack#683 · コメント 1 件 · 2025年9月5日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Support command and args in the servingEngineSpec.modelSpec[]

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 3/5 1〜2日 初心者へのやさしさ 68/100

  vllm-project/production-stack#682 · コメント 1 件 · 2025年9月5日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: Can't pass body of request in swagger docs

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request good first issue

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  vllm-project/production-stack#667 · コメント 3 件 · 2025年8月27日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: TypeError: k8 service discovery fail to load config

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 2/5 1〜3時間 初心者へのやさしさ 45/100

  vllm-project/production-stack#660 · コメント 1 件 · 2025年8月25日 に作成

  メンテナーはふだん 1 日以内に返信

• Dynamic config reload gets stuck after invalid JSON; does not recover after fixing

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  vllm-project/production-stack#659 · コメント 4 件 · リアクション 1 件 · 2025年8月25日 に作成

  メンテナーはふだん 1 日以内に返信

• feature: Check sleep mode only interacting with the /is_sleeping endpoint

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  feature request

  難易度 3/5 1〜2日 初心者へのやさしさ 45/100

  vllm-project/production-stack#655 · コメント 10 件 · 2025年8月22日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: [Benchmark] ValueError: Length mismatch in multi-round-qa benchmark DataFrame creation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 3/5 1〜2日 初心者へのやさしさ 45/100

  vllm-project/production-stack#646 · コメント 5 件 · 2025年8月15日 に作成

  メンテナーはふだん 1 日以内に返信

• [Roadmap] vLLM Production Stack roadmap for 2025 Q3

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 15/100

  vllm-project/production-stack#640 · コメント 1 件 · リアクション 9 件 · 2025年8月11日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: Cancellations don't propagate through the vLLM router to the engines

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 4/5 3〜5日 初心者へのやさしさ 38/100

  vllm-project/production-stack#634 · コメント 4 件 · 2025年8月6日 に作成

  メンテナーはふだん 1 日以内に返信