1CatAI/1Cat-vLLM

Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data

• [Feature]: [SM70] Existing E4M3 attention routes cannot cover Yarn-expanded model windows

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1424 · Aperta il 8/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][SM70] Image sets `TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_vllm`, so the ~107 MB compile cache is lost on every container restart (~9 min cold start)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

  1CatAI/1Cat-vLLM#1423 · Aperta il 8/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][SM70][1.5.2] Prefix caching silently never hits with default cache geometry on hybrid GDN + `--mamba-cache-mode align` (20.1M queries, 0 hits)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

  1CatAI/1Cat-vLLM#1422 · Aperta il 8/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: MambaManager (align) asserts num_required_blocks < len(req_blocks) with speculative decoding + async scheduling, EngineCore dies (needs vllm#39562)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100

  1CatAI/1Cat-vLLM#1419 · Aperta il 7/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [SM70][DFlash2][TP4] Captured compact target-rejection graph produces degenerate output for any temperature > 0 (spec7, single request)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1409 · 3 commenti · Aperta il 7/11/2026

  I maintainer di solito rispondono entro 1 giorno

• SM70 TP4 + DFlash2 7 drafts: default probabilistic draft sampling produces degenerate output at temperature > 0

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100

  1CatAI/1Cat-vLLM#1407 · 1 commento · Aperta il 7/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: Non-MoE DP load imbalance: missing upstream fix #49204

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

  1CatAI/1Cat-vLLM#1405 · Aperta il 6/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70] V2 EAGLE/MTP draft steps omit `seq_lens_cpu_upper_bound`, so Flash-V100 syncs `seq_lens.to("cpu")` on every draft step (+28% MTP-4 when passed)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 1-2 giorni Idoneità per principianti 58/100

  1CatAI/1Cat-vLLM#1361 · Aperta il 4/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70][DeepSeek-V4.1] Engram projection all-gather keeps two full copies (2 × 400 MiB per GPU at an 8K chunk); gathering row blocks is bit-identical

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

  1CatAI/1Cat-vLLM#1342 · Aperta il 2/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Report] GLM-5.3-Flash EXL3 2.1 bpw on 4× V100-32GB (TP4): fixes, measurements and the configuration we run

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 12/100

  1CatAI/1Cat-vLLM#1337 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70] `apply_top_k_top_p_triton` synchronizes with the host on every call (`reference_rows.any()`) and clones the logits

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1336 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70][EXL3] Wide grouped prefill GEMV (32-slot groups) for #1102: bitwise equal to the 8-slot kernel, 1.4-2.2× per launch, +28-29% GLM-5.3 prefill

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 8/100

  1CatAI/1Cat-vLLM#1335 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70] Fused prefill indexer scorer (relu, head weight and head sum in registers, no fp32 score tile): 1.27-1.34× over `_prefill_logits_cublas`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 8/100

  1CatAI/1Cat-vLLM#1334 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70][GLM-5.3] Sparse MLA prefill (`sm70_glm53_sparse_mla_fp8_out`, one split): a rewrite that keeps O in registers is 2.5-2.9× faster, +17% end-to-end prefill

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1333 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: [SM70] `sm70_f16_gemm_out` returns wrong values in the last N % 32 columns when N is not a multiple of 32 (no shape check in the op)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1332 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: `top_k_per_row_prefill` fills exactly tied logits at the cut in atomicAdd order, so the selected top-k set changes run to run (same logic on vLLM main)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 22/100

  1CatAI/1Cat-vLLM#1331 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: [Qwen3.8][DFlash2] Vision completely dropped when serving Qwen/Qwen3.8-27B with DFlash2 speculative decoding

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100

  1CatAI/1Cat-vLLM#1329 · Aperta il 31/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance] SM70 mHC Triton kernels recompile mid-request for new prefill tail lengths (token-count-dependent strides are specialized; 3-4 s per first-seen class)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 72/100

  1CatAI/1Cat-vLLM#1326 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] sm70_draft_single_graph capture fails on GLM-5.3: FlashMLA-sparse token_to_req_indices pins memory during stream capture

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100

  1CatAI/1Cat-vLLM#1324 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance] GLM-5.3 (glm5next) MTP drafter decode runs without CUDA graphs: VLLM_SM70_MTP_SPLIT_DRAFT_CUDAGRAPHS not auto-enabled (+10-26% decode when on)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

  1CatAI/1Cat-vLLM#1323 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Feature] DFlash2 for Qwen3.8 Flash-Next (Qwen4Exp): reference implementation available

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1302 · Aperta il 28/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Report][SM70] Qwen3.8-Flash-Next NVFP4 on 4x V100-SXM2-32GB (NVLink), 1.5.1: 4 x 262K at util 0.92 in production; OOM at 0.95; KV offload stalls with Deferred and no error

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

  1CatAI/1Cat-vLLM#1285 · Aperta il 28/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][SM70][TurboQuant]: `turboquant_k8v4` answers by repeating the question on some 48K prompts on one V100; `turboquant_4bit_nc` and fp16 answer correctly

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 42/100

  1CatAI/1Cat-vLLM#1283 · Aperta il 27/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [SM70] Tracking: local patches and workarounds needed to run 1.5.1 in production (Qwen3.6-35B-A3B-AWQ, 4xV100 PCIe, TP4)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1268 · 1 commento · Aperta il 26/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [SM70] 1.5.1 19-35% slower than 1.2.2 on Qwen3.6-35B-A3B-AWQ TP4: compact top-k/top-p sampler syncs every step; e5m2 XQA off for q_per_kv=4

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100

  1CatAI/1Cat-vLLM#1266 · 2 commenti · Aperta il 26/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][Qwen3.8-27b]: SM70 GQA architecture requires KV in [8192, 262144] with 32-token alignment, got 8160.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1262 · 1 commento · Aperta il 25/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][KV Offload][Qwen3.8] OffloadingConnector crashes EngineCore on pending transfer_jobs — upstream fix #46231

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1249 · 1 commento · Aperta il 22/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Feature]: 能支持SystemOne模型吗？

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1239 · Aperta il 20/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][Hybrid KV][LMCache] EngineCore crashes on failed KV loads / async completion (ValueError, AssertionError)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1238 · Aperta il 19/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][SM70][Qwen3.8][TP8] 双 NV2 岛 8 卡启动在 NCCL 初始化后卡住

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1224 · Aperta il 16/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Perf][Qwen3.8-27B] Mixed prefill+decode: what decode rate survives a 96K–192K prefill with 6–8 concurrent sessions (4×V100-SXM2-32G, TP4)?

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1223 · Aperta il 16/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] TP2 on 2×V100-32GB: deterministic CUDA OOM during CUDA-graph capture (main post-1.5.1 build)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1220 · Aperta il 15/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Community benchmark] 2× V100 PCIe 32GB TP2: QUASAR NVFP4 DFlash2 q7, 4K–256K, replay/shared cache and C1/C2/C4

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 28/100

  1CatAI/1Cat-vLLM#1202 · Aperta il 13/10/2026

  I maintainer di solito rispondono entro 1 giorno

• SM70 (V100) TP4: --async-scheduling deadlocks with DFlash2 ngram_assist (GPU spin, no CUDA error)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1173 · Aperta il 11/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Feature]: Is it possible to support Qwen3.8-Flash-Next on 8× Tesla V100 16GB?

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1158 · Aperta il 10/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Performance][SM70] Flash-V100 D=128 prefill is 8-12% faster on long prompts with two small kernel changes (measured, bit-identical, reference patch)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1132 · Aperta il 9/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Experiment] VLLM_SM70_AWQ_MLP_DOWN_TILE_OVERLAP + _AR: no perf change on 2x V100-PCIE (TP2, AWQ)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

  1CatAI/1Cat-vLLM#1106 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Feature][SM70][Qwen3.8]: Run the FP16 GEMV/HC/GDN-input lanes when Flash-Next is served with vision

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1100 · 1 commento · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][FlashQLA][SM70]: NVRTC >= 12.8 writes its precompiled header into the working directory; unprivileged engines die in the GDN warmup

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

  1CatAI/1Cat-vLLM#1098 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Benchmark] Qwen3.8-27B NVFP4 on 1x V100-PCIE-32GB (TP1) vs llama.cpp: 1Cat ahead on concurrency and prefill, behind on single-stream decode

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#1087 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Benchmark] Qwen3.8-27B-AWQ-MTP on 2x V100-PCIE (TP2): MAX_SEQS scaling & single/multi-user throughput

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 38/100

  1CatAI/1Cat-vLLM#1043 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Perf Regression] main: concurrent throughput drops up to -59% vs v1.5.1 on V100 (cudagraph shapes truncated?)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1042 · Aperta il 7/10/2026

  I maintainer di solito rispondono entro 1 giorno

• AutoRound W4A16 (per-expert GPTQ qweight) fails at fused_moe _load_w2 on SM70: packed 80 vs unpacked 640

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

  1CatAI/1Cat-vLLM#1029 · Aperta il 7/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Usage]: Is it possible to use only Two V100, and yes which model did you test

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#1027 · Aperta il 7/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug][SM70][Qwen3.8] Retrieval correctness depends on max-num-batched-tokens / chunked-prefill boundaries

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100

  1CatAI/1Cat-vLLM#1003 · 2 commenti · Aperta il 6/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [V100/SM70] Kimi K2.5 Tower native-INT4 on 2×V100-SXM2: EDSQ subquant + vllm_volta plugin port

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  1CatAI/1Cat-vLLM#987 · 2 commenti · Aperta il 5/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Mixed-prefill latency control (#860): the 250 ms default stalls new long prompts ~10x on a MoE model over PCIe V100

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

  1CatAI/1Cat-vLLM#880 · Aperta il 4/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] SM70 MTP decode deadlocks with >=2 concurrent requests (Qwen3.8-Flash-Next NVFP4, TP4)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#865 · Aperta il 3/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Perf][SM70][PP=2] Disabling async scheduling gives +55% single-stream decode; SM70 async tuning is inert when pp_size > 1

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

  1CatAI/1Cat-vLLM#852 · 2 commenti · Aperta il 3/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: [SM70][PP2] Native MTP4 over TP4xPP2: engine boots, first request triggers a device-side assert in the last-stage draft path

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  1CatAI/1Cat-vLLM#836 · Aperta il 3/10/2026

  I maintainer di solito rispondono entro 1 giorno