オーナー

1CatAI

ログインしてフォロー

索引済みのリポジトリ 1 件 · GitHub で見る

1Cat-vLLM
V100 / SM70-focused vLLM engineering fork for modern LLM inference.

Python · スター 1428 個

初心者向けすべて

オープンすべて

誰かが対応中かもしれないイシューは最後に並べています。すべて日付順に表示

[Feature]: [SM70] Existing E4M3 attention routes cannot cover Yarn-expanded model windows
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1424 · 2026年11月8日に作成

メンテナーはふだん 1 日以内に返信
[Bug][SM70] Image sets `TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_vllm`, so the ~107 MB compile cache is lost on every container restart (~9 min cold start)
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 76/100

1CatAI/1Cat-vLLM#1423 · 2026年11月8日に作成

メンテナーはふだん 1 日以内に返信
[Bug][SM70][1.5.2] Prefix caching silently never hits with default cache geometry on hybrid GDN + `--mamba-cache-mode align` (20.1M queries, 0 hits)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 42/100

1CatAI/1Cat-vLLM#1422 · 2026年11月8日に作成

メンテナーはふだん 1 日以内に返信
[Bug]: MambaManager (align) asserts num_required_blocks < len(req_blocks) with speculative decoding + async scheduling, EngineCore dies (needs vllm#39562)
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 58/100

1CatAI/1Cat-vLLM#1419 · 2026年11月7日に作成

メンテナーはふだん 1 日以内に返信
[SM70][DFlash2][TP4] Captured compact target-rejection graph produces degenerate output for any temperature > 0 (spec7, single request)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1409 · コメント 3 件 · 2026年11月7日に作成

メンテナーはふだん 1 日以内に返信
SM70 TP4 + DFlash2 7 drafts: default probabilistic draft sampling produces degenerate output at temperature > 0
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 54/100

1CatAI/1Cat-vLLM#1407 · コメント 1 件 · 2026年11月7日に作成

メンテナーはふだん 1 日以内に返信
[Bug]: Non-MoE DP load imbalance: missing upstream fix #49204
オープン
- 何か問題がありますか？
bug

難易度 4/5 3〜5日初心者へのやさしさ 55/100

1CatAI/1Cat-vLLM#1405 · 2026年11月6日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70] V2 EAGLE/MTP draft steps omit `seq_lens_cpu_upper_bound`, so Flash-V100 syncs `seq_lens.to("cpu")` on every draft step (+28% MTP-4 when passed)
オープン
- 何か問題がありますか？
難易度 4/5 1〜2日初心者へのやさしさ 58/100

1CatAI/1Cat-vLLM#1361 · 2026年11月4日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70][DeepSeek-V4.1] Engram projection all-gather keeps two full copies (2 × 400 MiB per GPU at an 8K chunk); gathering row blocks is bit-identical
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 42/100

1CatAI/1Cat-vLLM#1342 · 2026年11月2日に作成

メンテナーはふだん 1 日以内に返信
[Report] GLM-5.3-Flash EXL3 2.1 bpw on 4× V100-32GB (TP4): fixes, measurements and the configuration we run
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 12/100

1CatAI/1Cat-vLLM#1337 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70] `apply_top_k_top_p_triton` synchronizes with the host on every call (`reference_rows.any()`) and clones the logits
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1336 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70][EXL3] Wide grouped prefill GEMV (32-slot groups) for #1102: bitwise equal to the 8-slot kernel, 1.4-2.2× per launch, +28-29% GLM-5.3 prefill
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 8/100

1CatAI/1Cat-vLLM#1335 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70] Fused prefill indexer scorer (relu, head weight and head sum in registers, no fp32 score tile): 1.27-1.34× over `_prefill_logits_cublas`
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 8/100

1CatAI/1Cat-vLLM#1334 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70][GLM-5.3] Sparse MLA prefill (`sm70_glm53_sparse_mla_fp8_out`, one split): a rewrite that keeps O in registers is 2.5-2.9× faster, +17% end-to-end prefill
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1333 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Bug]: [SM70] `sm70_f16_gemm_out` returns wrong values in the last N % 32 columns when N is not a multiple of 32 (no shape check in the op)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1332 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Bug]: `top_k_per_row_prefill` fills exactly tied logits at the cut in atomicAdd order, so the selected top-k set changes run to run (same logic on vLLM main)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 22/100

1CatAI/1Cat-vLLM#1331 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Bug]: [Qwen3.8][DFlash2] Vision completely dropped when serving Qwen/Qwen3.8-27B with DFlash2 speculative decoding
オープン
- 何か問題がありますか？
bug

難易度 4/5 3〜5日初心者へのやさしさ 32/100

1CatAI/1Cat-vLLM#1329 · 2026年10月31日に作成

メンテナーはふだん 1 日以内に返信
[Performance] SM70 mHC Triton kernels recompile mid-request for new prefill tail lengths (token-count-dependent strides are specialized; 3-4 s per first-seen class)
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 72/100

1CatAI/1Cat-vLLM#1326 · 2026年10月30日に作成

メンテナーはふだん 1 日以内に返信
[Bug] sm70_draft_single_graph capture fails on GLM-5.3: FlashMLA-sparse token_to_req_indices pins memory during stream capture
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 54/100

1CatAI/1Cat-vLLM#1324 · 2026年10月30日に作成

メンテナーはふだん 1 日以内に返信
[Performance] GLM-5.3 (glm5next) MTP drafter decode runs without CUDA graphs: VLLM_SM70_MTP_SPLIT_DRAFT_CUDAGRAPHS not auto-enabled (+10-26% decode when on)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

1CatAI/1Cat-vLLM#1323 · 2026年10月30日に作成

メンテナーはふだん 1 日以内に返信
[Feature] DFlash2 for Qwen3.8 Flash-Next (Qwen4Exp): reference implementation available
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1302 · 2026年10月28日に作成

メンテナーはふだん 1 日以内に返信
[Report][SM70] Qwen3.8-Flash-Next NVFP4 on 4x V100-SXM2-32GB (NVLink), 1.5.1: 4 x 262K at util 0.92 in production; OOM at 0.95; KV offload stalls with Deferred and no error
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 38/100

1CatAI/1Cat-vLLM#1285 · 2026年10月28日に作成

メンテナーはふだん 1 日以内に返信
[Bug][SM70][TurboQuant]: `turboquant_k8v4` answers by repeating the question on some 48K prompts on one V100; `turboquant_4bit_nc` and fp16 answer correctly
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 42/100

1CatAI/1Cat-vLLM#1283 · 2026年10月27日に作成

メンテナーはふだん 1 日以内に返信
[SM70] Tracking: local patches and workarounds needed to run 1.5.1 in production (Qwen3.6-35B-A3B-AWQ, 4xV100 PCIe, TP4)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1268 · コメント 1 件 · 2026年10月26日に作成

メンテナーはふだん 1 日以内に返信
[SM70] 1.5.1 19-35% slower than 1.2.2 on Qwen3.6-35B-A3B-AWQ TP4: compact top-k/top-p sampler syncs every step; e5m2 XQA off for q_per_kv=4
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 28/100

1CatAI/1Cat-vLLM#1266 · コメント 2 件 · 2026年10月26日に作成

メンテナーはふだん 1 日以内に返信
[Bug][Qwen3.8-27b]: SM70 GQA architecture requires KV in [8192, 262144] with 32-token alignment, got 8160.
オープン
- 何か問題がありますか？
bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1262 · コメント 1 件 · 2026年10月25日に作成

メンテナーはふだん 1 日以内に返信
[Bug][KV Offload][Qwen3.8] OffloadingConnector crashes EngineCore on pending transfer_jobs — upstream fix #46231
オープン
- 何か問題がありますか？
bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1249 · コメント 1 件 · 2026年10月22日に作成

メンテナーはふだん 1 日以内に返信
[Feature]: 能支持SystemOne模型吗？
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1239 · 2026年10月20日に作成

メンテナーはふだん 1 日以内に返信
[Bug][Hybrid KV][LMCache] EngineCore crashes on failed KV loads / async completion (ValueError, AssertionError)
オープン
- 何か問題がありますか？
bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1238 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Bug][SM70][Qwen3.8][TP8] 双 NV2 岛 8 卡启动在 NCCL 初始化后卡住
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1224 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
[Perf][Qwen3.8-27B] Mixed prefill+decode: what decode rate survives a 96K–192K prefill with 6–8 concurrent sessions (4×V100-SXM2-32G, TP4)?
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1223 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
[Bug] TP2 on 2×V100-32GB: deterministic CUDA OOM during CUDA-graph capture (main post-1.5.1 build)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1220 · 2026年10月15日に作成

メンテナーはふだん 1 日以内に返信
[Community benchmark] 2× V100 PCIe 32GB TP2: QUASAR NVFP4 DFlash2 q7, 4K–256K, replay/shared cache and C1/C2/C4
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 28/100

1CatAI/1Cat-vLLM#1202 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
SM70 (V100) TP4: --async-scheduling deadlocks with DFlash2 ngram_assist (GPU spin, no CUDA error)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1173 · 2026年10月11日に作成

メンテナーはふだん 1 日以内に返信
[Feature]: Is it possible to support Qwen3.8-Flash-Next on 8× Tesla V100 16GB?
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1158 · 2026年10月10日に作成

メンテナーはふだん 1 日以内に返信
[Performance][SM70] Flash-V100 D=128 prefill is 8-12% faster on long prompts with two small kernel changes (measured, bit-identical, reference patch)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1132 · 2026年10月9日に作成

メンテナーはふだん 1 日以内に返信
[Experiment] VLLM_SM70_AWQ_MLP_DOWN_TILE_OVERLAP + _AR: no perf change on 2x V100-PCIE (TP2, AWQ)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

1CatAI/1Cat-vLLM#1106 · 2026年10月8日に作成

メンテナーはふだん 1 日以内に返信
[Feature][SM70][Qwen3.8]: Run the FP16 GEMV/HC/GDN-input lanes when Flash-Next is served with vision
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1100 · コメント 1 件 · 2026年10月8日に作成

メンテナーはふだん 1 日以内に返信
[Bug][FlashQLA][SM70]: NVRTC >= 12.8 writes its precompiled header into the working directory; unprivileged engines die in the GDN warmup
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 45/100

1CatAI/1Cat-vLLM#1098 · 2026年10月8日に作成

メンテナーはふだん 1 日以内に返信
[Benchmark] Qwen3.8-27B NVFP4 on 1x V100-PCIE-32GB (TP1) vs llama.cpp: 1Cat ahead on concurrency and prefill, behind on single-stream decode
オープン
- 何か問題がありますか？
難易度 1/5 1時間未満初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#1087 · 2026年10月8日に作成

メンテナーはふだん 1 日以内に返信
[Benchmark] Qwen3.8-27B-AWQ-MTP on 2x V100-PCIE (TP2): MAX_SEQS scaling & single/multi-user throughput
オープン
- 何か問題がありますか？
難易度 1/5 1時間未満初心者へのやさしさ 38/100

1CatAI/1Cat-vLLM#1043 · 2026年10月8日に作成

メンテナーはふだん 1 日以内に返信
[Perf Regression] main: concurrent throughput drops up to -59% vs v1.5.1 on V100 (cudagraph shapes truncated?)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1042 · 2026年10月7日に作成

メンテナーはふだん 1 日以内に返信
AutoRound W4A16 (per-expert GPTQ qweight) fails at fused_moe _load_w2 on SM70: packed 80 vs unpacked 640
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

1CatAI/1Cat-vLLM#1029 · 2026年10月7日に作成

メンテナーはふだん 1 日以内に返信
[Usage]: Is it possible to use only Two V100, and yes which model did you test
オープン
- 何か問題がありますか？
難易度 1/5 1時間未満初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#1027 · 2026年10月7日に作成

メンテナーはふだん 1 日以内に返信
[Bug][SM70][Qwen3.8] Retrieval correctness depends on max-num-batched-tokens / chunked-prefill boundaries
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 28/100

1CatAI/1Cat-vLLM#1003 · コメント 2 件 · 2026年10月6日に作成

メンテナーはふだん 1 日以内に返信
[V100/SM70] Kimi K2.5 Tower native-INT4 on 2×V100-SXM2: EDSQ subquant + vllm_volta plugin port
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

1CatAI/1Cat-vLLM#987 · コメント 2 件 · 2026年10月5日に作成

メンテナーはふだん 1 日以内に返信
Mixed-prefill latency control (#860): the 250 ms default stalls new long prompts ~10x on a MoE model over PCIe V100
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

1CatAI/1Cat-vLLM#880 · 2026年10月4日に作成

メンテナーはふだん 1 日以内に返信
[Bug] SM70 MTP decode deadlocks with >=2 concurrent requests (Qwen3.8-Flash-Next NVFP4, TP4)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#865 · 2026年10月3日に作成

メンテナーはふだん 1 日以内に返信
[Perf][SM70][PP=2] Disabling async scheduling gives +55% single-stream decode; SM70 async tuning is inert when pp_size > 1
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 42/100

1CatAI/1Cat-vLLM#852 · コメント 2 件 · 2026年10月3日に作成

メンテナーはふだん 1 日以内に返信
[Bug]: [SM70][PP2] Native MTP4 over TP4xPP2: engine boots, first request triggers a device-side assert in the last-stage draft path
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

1CatAI/1Cat-vLLM#836 · 2026年10月3日に作成

メンテナーはふだん 1 日以内に返信

1CatAI

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

最新の 100 件のみ表示しています

新しい issue をメールで受け取る