1CatAI

Las issues en las que quizá ya trabaja alguien aparecen al final. Ordenar todo por fecha

• [Feature]: [SM70] Existing E4M3 attention routes cannot cover Yarn-expanded model windows

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1424 · Abierto el 8/11/2026

  Los mantenedores suelen responder en 1 día

• [Bug][SM70] Image sets `TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_vllm`, so the ~107 MB compile cache is lost on every container restart (~9 min cold start)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

  1CatAI/1Cat-vLLM#1423 · Abierto el 8/11/2026

  Los mantenedores suelen responder en 1 día

• [Bug][SM70][1.5.2] Prefix caching silently never hits with default cache geometry on hybrid GDN + `--mamba-cache-mode align` (20.1M queries, 0 hits)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

  1CatAI/1Cat-vLLM#1422 · Abierto el 8/11/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: MambaManager (align) asserts num_required_blocks < len(req_blocks) with speculative decoding + async scheduling, EngineCore dies (needs vllm#39562)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 58/100

  1CatAI/1Cat-vLLM#1419 · Abierto el 7/11/2026

  Los mantenedores suelen responder en 1 día

• [SM70][DFlash2][TP4] Captured compact target-rejection graph produces degenerate output for any temperature > 0 (spec7, single request)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1409 · 3 comentarios · Abierto el 7/11/2026

  Los mantenedores suelen responder en 1 día

• SM70 TP4 + DFlash2 7 drafts: default probabilistic draft sampling produces degenerate output at temperature > 0

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 54/100

  1CatAI/1Cat-vLLM#1407 · 1 comentario · Abierto el 7/11/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: Non-MoE DP load imbalance: missing upstream fix #49204

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  bug

  Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

  1CatAI/1Cat-vLLM#1405 · Abierto el 6/11/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70] V2 EAGLE/MTP draft steps omit `seq_lens_cpu_upper_bound`, so Flash-V100 syncs `seq_lens.to("cpu")` on every draft step (+28% MTP-4 when passed)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 1-2 días Aptitud para principiantes 58/100

  1CatAI/1Cat-vLLM#1361 · Abierto el 4/11/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70][DeepSeek-V4.1] Engram projection all-gather keeps two full copies (2 × 400 MiB per GPU at an 8K chunk); gathering row blocks is bit-identical

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

  1CatAI/1Cat-vLLM#1342 · Abierto el 2/11/2026

  Los mantenedores suelen responder en 1 día

• [Report] GLM-5.3-Flash EXL3 2.1 bpw on 4× V100-32GB (TP4): fixes, measurements and the configuration we run

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 12/100

  1CatAI/1Cat-vLLM#1337 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70] `apply_top_k_top_p_triton` synchronizes with the host on every call (`reference_rows.any()`) and clones the logits

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1336 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70][EXL3] Wide grouped prefill GEMV (32-slot groups) for #1102: bitwise equal to the 8-slot kernel, 1.4-2.2× per launch, +28-29% GLM-5.3 prefill

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100

  1CatAI/1Cat-vLLM#1335 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70] Fused prefill indexer scorer (relu, head weight and head sum in registers, no fp32 score tile): 1.27-1.34× over `_prefill_logits_cublas`

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100

  1CatAI/1Cat-vLLM#1334 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70][GLM-5.3] Sparse MLA prefill (`sm70_glm53_sparse_mla_fp8_out`, one split): a rewrite that keeps O in registers is 2.5-2.9× faster, +17% end-to-end prefill

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1333 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: [SM70] `sm70_f16_gemm_out` returns wrong values in the last N % 32 columns when N is not a multiple of 32 (no shape check in the op)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1332 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: `top_k_per_row_prefill` fills exactly tied logits at the cut in atomicAdd order, so the selected top-k set changes run to run (same logic on vLLM main)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 22/100

  1CatAI/1Cat-vLLM#1331 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: [Qwen3.8][DFlash2] Vision completely dropped when serving Qwen/Qwen3.8-27B with DFlash2 speculative decoding

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  bug

  Dificultad 4/5 3-5 días Aptitud para principiantes 32/100

  1CatAI/1Cat-vLLM#1329 · Abierto el 31/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance] SM70 mHC Triton kernels recompile mid-request for new prefill tail lengths (token-count-dependent strides are specialized; 3-4 s per first-seen class)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

  1CatAI/1Cat-vLLM#1326 · Abierto el 30/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug] sm70_draft_single_graph capture fails on GLM-5.3: FlashMLA-sparse token_to_req_indices pins memory during stream capture

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 54/100

  1CatAI/1Cat-vLLM#1324 · Abierto el 30/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance] GLM-5.3 (glm5next) MTP drafter decode runs without CUDA graphs: VLLM_SM70_MTP_SPLIT_DRAFT_CUDAGRAPHS not auto-enabled (+10-26% decode when on)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

  1CatAI/1Cat-vLLM#1323 · Abierto el 30/10/2026

  Los mantenedores suelen responder en 1 día

• [Feature] DFlash2 for Qwen3.8 Flash-Next (Qwen4Exp): reference implementation available

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1302 · Abierto el 28/10/2026

  Los mantenedores suelen responder en 1 día

• [Report][SM70] Qwen3.8-Flash-Next NVFP4 on 4x V100-SXM2-32GB (NVLink), 1.5.1: 4 x 262K at util 0.92 in production; OOM at 0.95; KV offload stalls with Deferred and no error

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

  1CatAI/1Cat-vLLM#1285 · Abierto el 28/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][SM70][TurboQuant]: `turboquant_k8v4` answers by repeating the question on some 48K prompts on one V100; `turboquant_4bit_nc` and fp16 answer correctly

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

  1CatAI/1Cat-vLLM#1283 · Abierto el 27/10/2026

  Los mantenedores suelen responder en 1 día

• [SM70] Tracking: local patches and workarounds needed to run 1.5.1 in production (Qwen3.6-35B-A3B-AWQ, 4xV100 PCIe, TP4)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1268 · 1 comentario · Abierto el 26/10/2026

  Los mantenedores suelen responder en 1 día

• [SM70] 1.5.1 19-35% slower than 1.2.2 on Qwen3.6-35B-A3B-AWQ TP4: compact top-k/top-p sampler syncs every step; e5m2 XQA off for q_per_kv=4

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

  1CatAI/1Cat-vLLM#1266 · 2 comentarios · Abierto el 26/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][Qwen3.8-27b]: SM70 GQA architecture requires KV in [8192, 262144] with 32-token alignment, got 8160.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  bug

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1262 · 1 comentario · Abierto el 25/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][KV Offload][Qwen3.8] OffloadingConnector crashes EngineCore on pending transfer_jobs — upstream fix #46231

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  bug

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1249 · 1 comentario · Abierto el 22/10/2026

  Los mantenedores suelen responder en 1 día

• [Feature]: 能支持SystemOne模型吗？

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1239 · Abierto el 20/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][Hybrid KV][LMCache] EngineCore crashes on failed KV loads / async completion (ValueError, AssertionError)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  bug

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1238 · Abierto el 19/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][SM70][Qwen3.8][TP8] 双 NV2 岛 8 卡启动在 NCCL 初始化后卡住

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1224 · Abierto el 16/10/2026

  Los mantenedores suelen responder en 1 día

• [Perf][Qwen3.8-27B] Mixed prefill+decode: what decode rate survives a 96K–192K prefill with 6–8 concurrent sessions (4×V100-SXM2-32G, TP4)?

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1223 · Abierto el 16/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug] TP2 on 2×V100-32GB: deterministic CUDA OOM during CUDA-graph capture (main post-1.5.1 build)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1220 · Abierto el 15/10/2026

  Los mantenedores suelen responder en 1 día

• [Community benchmark] 2× V100 PCIe 32GB TP2: QUASAR NVFP4 DFlash2 q7, 4K–256K, replay/shared cache and C1/C2/C4

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 28/100

  1CatAI/1Cat-vLLM#1202 · Abierto el 13/10/2026

  Los mantenedores suelen responder en 1 día

• SM70 (V100) TP4: --async-scheduling deadlocks with DFlash2 ngram_assist (GPU spin, no CUDA error)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1173 · Abierto el 11/10/2026

  Los mantenedores suelen responder en 1 día

• [Feature]: Is it possible to support Qwen3.8-Flash-Next on 8× Tesla V100 16GB?

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1158 · Abierto el 10/10/2026

  Los mantenedores suelen responder en 1 día

• [Performance][SM70] Flash-V100 D=128 prefill is 8-12% faster on long prompts with two small kernel changes (measured, bit-identical, reference patch)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1132 · Abierto el 9/10/2026

  Los mantenedores suelen responder en 1 día

• [Experiment] VLLM_SM70_AWQ_MLP_DOWN_TILE_OVERLAP + _AR: no perf change on 2x V100-PCIE (TP2, AWQ)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

  1CatAI/1Cat-vLLM#1106 · Abierto el 8/10/2026

  Los mantenedores suelen responder en 1 día

• [Feature][SM70][Qwen3.8]: Run the FP16 GEMV/HC/GDN-input lanes when Flash-Next is served with vision

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1100 · 1 comentario · Abierto el 8/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][FlashQLA][SM70]: NVRTC >= 12.8 writes its precompiled header into the working directory; unprivileged engines die in the GDN warmup

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

  1CatAI/1Cat-vLLM#1098 · Abierto el 8/10/2026

  Los mantenedores suelen responder en 1 día

• [Benchmark] Qwen3.8-27B NVFP4 on 1x V100-PCIE-32GB (TP1) vs llama.cpp: 1Cat ahead on concurrency and prefill, behind on single-stream decode

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 1/5 Menos de una hora Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#1087 · Abierto el 8/10/2026

  Los mantenedores suelen responder en 1 día

• [Benchmark] Qwen3.8-27B-AWQ-MTP on 2x V100-PCIE (TP2): MAX_SEQS scaling & single/multi-user throughput

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 1/5 Menos de una hora Aptitud para principiantes 38/100

  1CatAI/1Cat-vLLM#1043 · Abierto el 8/10/2026

  Los mantenedores suelen responder en 1 día

• [Perf Regression] main: concurrent throughput drops up to -59% vs v1.5.1 on V100 (cudagraph shapes truncated?)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1042 · Abierto el 7/10/2026

  Los mantenedores suelen responder en 1 día

• AutoRound W4A16 (per-expert GPTQ qweight) fails at fused_moe _load_w2 on SM70: packed 80 vs unpacked 640

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

  1CatAI/1Cat-vLLM#1029 · Abierto el 7/10/2026

  Los mantenedores suelen responder en 1 día

• [Usage]: Is it possible to use only Two V100, and yes which model did you test

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 1/5 Menos de una hora Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#1027 · Abierto el 7/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug][SM70][Qwen3.8] Retrieval correctness depends on max-num-batched-tokens / chunked-prefill boundaries

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

  1CatAI/1Cat-vLLM#1003 · 2 comentarios · Abierto el 6/10/2026

  Los mantenedores suelen responder en 1 día

• [V100/SM70] Kimi K2.5 Tower native-INT4 on 2×V100-SXM2: EDSQ subquant + vllm_volta plugin port

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  1CatAI/1Cat-vLLM#987 · 2 comentarios · Abierto el 5/10/2026

  Los mantenedores suelen responder en 1 día

• Mixed-prefill latency control (#860): the 250 ms default stalls new long prompts ~10x on a MoE model over PCIe V100

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

  1CatAI/1Cat-vLLM#880 · Abierto el 4/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug] SM70 MTP decode deadlocks with >=2 concurrent requests (Qwen3.8-Flash-Next NVFP4, TP4)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#865 · Abierto el 3/10/2026

  Los mantenedores suelen responder en 1 día

• [Perf][SM70][PP=2] Disabling async scheduling gives +55% single-stream decode; SM70 async tuning is inert when pp_size > 1

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

  1CatAI/1Cat-vLLM#852 · 2 comentarios · Abierto el 3/10/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: [SM70][PP2] Native MTP4 over TP4xPP2: engine boots, first request triggers a device-side assert in the last-stage draft path

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  1CatAI/1Cat-vLLM#836 · Abierto el 3/10/2026

  Los mantenedores suelen responder en 1 día