1CatAI

Les issues sur lesquelles quelqu’un travaille peut-être déjà sont listées en dernier. Tout trier par date

• [Feature]: [SM70] Existing E4M3 attention routes cannot cover Yarn-expanded model windows

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1424 · Ouverte le 8/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][SM70] Image sets `TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_vllm`, so the ~107 MB compile cache is lost on every container restart (~9 min cold start)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 76/100

  1CatAI/1Cat-vLLM#1423 · Ouverte le 8/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][SM70][1.5.2] Prefix caching silently never hits with default cache geometry on hybrid GDN + `--mamba-cache-mode align` (20.1M queries, 0 hits)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

  1CatAI/1Cat-vLLM#1422 · Ouverte le 8/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug]: MambaManager (align) asserts num_required_blocks < len(req_blocks) with speculative decoding + async scheduling, EngineCore dies (needs vllm#39562)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 58/100

  1CatAI/1Cat-vLLM#1419 · Ouverte le 7/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [SM70][DFlash2][TP4] Captured compact target-rejection graph produces degenerate output for any temperature > 0 (spec7, single request)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1409 · 3 commentaires · Ouverte le 7/11/2026

  Les mainteneurs répondent en général sous 1 jour

• SM70 TP4 + DFlash2 7 drafts: default probabilistic draft sampling produces degenerate output at temperature > 0

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 54/100

  1CatAI/1Cat-vLLM#1407 · 1 commentaire · Ouverte le 7/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug]: Non-MoE DP load imbalance: missing upstream fix #49204

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  bug

  Difficulté 4/5 3-5 jours Accessibilité débutants 55/100

  1CatAI/1Cat-vLLM#1405 · Ouverte le 6/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70] V2 EAGLE/MTP draft steps omit `seq_lens_cpu_upper_bound`, so Flash-V100 syncs `seq_lens.to("cpu")` on every draft step (+28% MTP-4 when passed)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 1-2 jours Accessibilité débutants 58/100

  1CatAI/1Cat-vLLM#1361 · Ouverte le 4/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70][DeepSeek-V4.1] Engram projection all-gather keeps two full copies (2 × 400 MiB per GPU at an 8K chunk); gathering row blocks is bit-identical

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

  1CatAI/1Cat-vLLM#1342 · Ouverte le 2/11/2026

  Les mainteneurs répondent en général sous 1 jour

• [Report] GLM-5.3-Flash EXL3 2.1 bpw on 4× V100-32GB (TP4): fixes, measurements and the configuration we run

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 12/100

  1CatAI/1Cat-vLLM#1337 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70] `apply_top_k_top_p_triton` synchronizes with the host on every call (`reference_rows.any()`) and clones the logits

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1336 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70][EXL3] Wide grouped prefill GEMV (32-slot groups) for #1102: bitwise equal to the 8-slot kernel, 1.4-2.2× per launch, +28-29% GLM-5.3 prefill

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 8/100

  1CatAI/1Cat-vLLM#1335 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70] Fused prefill indexer scorer (relu, head weight and head sum in registers, no fp32 score tile): 1.27-1.34× over `_prefill_logits_cublas`

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 8/100

  1CatAI/1Cat-vLLM#1334 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70][GLM-5.3] Sparse MLA prefill (`sm70_glm53_sparse_mla_fp8_out`, one split): a rewrite that keeps O in registers is 2.5-2.9× faster, +17% end-to-end prefill

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1333 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug]: [SM70] `sm70_f16_gemm_out` returns wrong values in the last N % 32 columns when N is not a multiple of 32 (no shape check in the op)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1332 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug]: `top_k_per_row_prefill` fills exactly tied logits at the cut in atomicAdd order, so the selected top-k set changes run to run (same logic on vLLM main)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 22/100

  1CatAI/1Cat-vLLM#1331 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug]: [Qwen3.8][DFlash2] Vision completely dropped when serving Qwen/Qwen3.8-27B with DFlash2 speculative decoding

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  bug

  Difficulté 4/5 3-5 jours Accessibilité débutants 32/100

  1CatAI/1Cat-vLLM#1329 · Ouverte le 31/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance] SM70 mHC Triton kernels recompile mid-request for new prefill tail lengths (token-count-dependent strides are specialized; 3-4 s per first-seen class)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 72/100

  1CatAI/1Cat-vLLM#1326 · Ouverte le 30/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug] sm70_draft_single_graph capture fails on GLM-5.3: FlashMLA-sparse token_to_req_indices pins memory during stream capture

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 54/100

  1CatAI/1Cat-vLLM#1324 · Ouverte le 30/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance] GLM-5.3 (glm5next) MTP drafter decode runs without CUDA graphs: VLLM_SM70_MTP_SPLIT_DRAFT_CUDAGRAPHS not auto-enabled (+10-26% decode when on)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 45/100

  1CatAI/1Cat-vLLM#1323 · Ouverte le 30/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Feature] DFlash2 for Qwen3.8 Flash-Next (Qwen4Exp): reference implementation available

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1302 · Ouverte le 28/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Report][SM70] Qwen3.8-Flash-Next NVFP4 on 4x V100-SXM2-32GB (NVLink), 1.5.1: 4 x 262K at util 0.92 in production; OOM at 0.95; KV offload stalls with Deferred and no error

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 38/100

  1CatAI/1Cat-vLLM#1285 · Ouverte le 28/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][SM70][TurboQuant]: `turboquant_k8v4` answers by repeating the question on some 48K prompts on one V100; `turboquant_4bit_nc` and fp16 answer correctly

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 42/100

  1CatAI/1Cat-vLLM#1283 · Ouverte le 27/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [SM70] Tracking: local patches and workarounds needed to run 1.5.1 in production (Qwen3.6-35B-A3B-AWQ, 4xV100 PCIe, TP4)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1268 · 1 commentaire · Ouverte le 26/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [SM70] 1.5.1 19-35% slower than 1.2.2 on Qwen3.6-35B-A3B-AWQ TP4: compact top-k/top-p sampler syncs every step; e5m2 XQA off for q_per_kv=4

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 28/100

  1CatAI/1Cat-vLLM#1266 · 2 commentaires · Ouverte le 26/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][Qwen3.8-27b]: SM70 GQA architecture requires KV in [8192, 262144] with 32-token alignment, got 8160.

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  bug

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1262 · 1 commentaire · Ouverte le 25/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][KV Offload][Qwen3.8] OffloadingConnector crashes EngineCore on pending transfer_jobs — upstream fix #46231

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  bug

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1249 · 1 commentaire · Ouverte le 22/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Feature]: 能支持SystemOne模型吗？

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1239 · Ouverte le 20/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][Hybrid KV][LMCache] EngineCore crashes on failed KV loads / async completion (ValueError, AssertionError)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  bug

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1238 · Ouverte le 19/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][SM70][Qwen3.8][TP8] 双 NV2 岛 8 卡启动在 NCCL 初始化后卡住

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1224 · Ouverte le 16/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Perf][Qwen3.8-27B] Mixed prefill+decode: what decode rate survives a 96K–192K prefill with 6–8 concurrent sessions (4×V100-SXM2-32G, TP4)?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1223 · Ouverte le 16/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug] TP2 on 2×V100-32GB: deterministic CUDA OOM during CUDA-graph capture (main post-1.5.1 build)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1220 · Ouverte le 15/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Community benchmark] 2× V100 PCIe 32GB TP2: QUASAR NVFP4 DFlash2 q7, 4K–256K, replay/shared cache and C1/C2/C4

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 28/100

  1CatAI/1Cat-vLLM#1202 · Ouverte le 13/10/2026

  Les mainteneurs répondent en général sous 1 jour

• SM70 (V100) TP4: --async-scheduling deadlocks with DFlash2 ngram_assist (GPU spin, no CUDA error)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1173 · Ouverte le 11/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Feature]: Is it possible to support Qwen3.8-Flash-Next on 8× Tesla V100 16GB?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1158 · Ouverte le 10/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Performance][SM70] Flash-V100 D=128 prefill is 8-12% faster on long prompts with two small kernel changes (measured, bit-identical, reference patch)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1132 · Ouverte le 9/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Experiment] VLLM_SM70_AWQ_MLP_DOWN_TILE_OVERLAP + _AR: no perf change on 2x V100-PCIE (TP2, AWQ)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 45/100

  1CatAI/1Cat-vLLM#1106 · Ouverte le 8/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Feature][SM70][Qwen3.8]: Run the FP16 GEMV/HC/GDN-input lanes when Flash-Next is served with vision

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1100 · 1 commentaire · Ouverte le 8/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][FlashQLA][SM70]: NVRTC >= 12.8 writes its precompiled header into the working directory; unprivileged engines die in the GDN warmup

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

  1CatAI/1Cat-vLLM#1098 · Ouverte le 8/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Benchmark] Qwen3.8-27B NVFP4 on 1x V100-PCIE-32GB (TP1) vs llama.cpp: 1Cat ahead on concurrency and prefill, behind on single-stream decode

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 1/5 Moins d'une heure Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#1087 · Ouverte le 8/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Benchmark] Qwen3.8-27B-AWQ-MTP on 2x V100-PCIE (TP2): MAX_SEQS scaling & single/multi-user throughput

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 1/5 Moins d'une heure Accessibilité débutants 38/100

  1CatAI/1Cat-vLLM#1043 · Ouverte le 8/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Perf Regression] main: concurrent throughput drops up to -59% vs v1.5.1 on V100 (cudagraph shapes truncated?)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1042 · Ouverte le 7/10/2026

  Les mainteneurs répondent en général sous 1 jour

• AutoRound W4A16 (per-expert GPTQ qweight) fails at fused_moe _load_w2 on SM70: packed 80 vs unpacked 640

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 48/100

  1CatAI/1Cat-vLLM#1029 · Ouverte le 7/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Usage]: Is it possible to use only Two V100, and yes which model did you test

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 1/5 Moins d'une heure Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#1027 · Ouverte le 7/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug][SM70][Qwen3.8] Retrieval correctness depends on max-num-batched-tokens / chunked-prefill boundaries

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 28/100

  1CatAI/1Cat-vLLM#1003 · 2 commentaires · Ouverte le 6/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [V100/SM70] Kimi K2.5 Tower native-INT4 on 2×V100-SXM2: EDSQ subquant + vllm_volta plugin port

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  1CatAI/1Cat-vLLM#987 · 2 commentaires · Ouverte le 5/10/2026

  Les mainteneurs répondent en général sous 1 jour

• Mixed-prefill latency control (#860): the 250 ms default stalls new long prompts ~10x on a MoE model over PCIe V100

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 45/100

  1CatAI/1Cat-vLLM#880 · Ouverte le 4/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug] SM70 MTP decode deadlocks with >=2 concurrent requests (Qwen3.8-Flash-Next NVFP4, TP4)

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#865 · Ouverte le 3/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Perf][SM70][PP=2] Disabling async scheduling gives +55% single-stream decode; SM70 async tuning is inert when pp_size > 1

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

  1CatAI/1Cat-vLLM#852 · 2 commentaires · Ouverte le 3/10/2026

  Les mainteneurs répondent en général sous 1 jour

• [Bug]: [SM70][PP2] Native MTP4 over TP4xPP2: engine boots, first request triggers a device-side assert in the last-stage draft path

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

  1CatAI/1Cat-vLLM#836 · Ouverte le 3/10/2026

  Les mainteneurs répondent en général sous 1 jour