Owner

1CatAI

登入後關注

已索引 1 個儲存庫 · 在 GitHub 檢視

1Cat-vLLM
V100 / SM70-focused vLLM engineering fork for modern LLM inference.

Python · 1428 個 star

適合新手全部

未關閉全部

可能已有人在做的 issue 排在最後。全部依時間排序

[Feature]: [SM70] Existing E4M3 attention routes cannot cover Yarn-expanded model windows
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

1CatAI/1Cat-vLLM#1424 · 2026年11月8日建立

維護者通常 1 天內回覆
[Bug][SM70] Image sets `TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_vllm`, so the ~107 MB compile cache is lost on every container restart (~9 min cold start)
未關閉
- 哪裡不對？
難度 2/5 1-3 小時新手友好度 76/100

1CatAI/1Cat-vLLM#1423 · 2026年11月8日建立

維護者通常 1 天內回覆
[Bug][SM70][1.5.2] Prefix caching silently never hits with default cache geometry on hybrid GDN + `--mamba-cache-mode align` (20.1M queries, 0 hits)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 42/100

1CatAI/1Cat-vLLM#1422 · 2026年11月8日建立

維護者通常 1 天內回覆
[Bug]: MambaManager (align) asserts num_required_blocks < len(req_blocks) with speculative decoding + async scheduling, EngineCore dies (needs vllm#39562)
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 58/100

1CatAI/1Cat-vLLM#1419 · 2026年11月7日建立

維護者通常 1 天內回覆
[SM70][DFlash2][TP4] Captured compact target-rejection graph produces degenerate output for any temperature > 0 (spec7, single request)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1409 · 3 則留言 · 2026年11月7日建立

維護者通常 1 天內回覆
SM70 TP4 + DFlash2 7 drafts: default probabilistic draft sampling produces degenerate output at temperature > 0
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 54/100

1CatAI/1Cat-vLLM#1407 · 1 則留言 · 2026年11月7日建立

維護者通常 1 天內回覆
[Bug]: Non-MoE DP load imbalance: missing upstream fix #49204
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 55/100

1CatAI/1Cat-vLLM#1405 · 2026年11月6日建立

維護者通常 1 天內回覆
[Performance][SM70] V2 EAGLE/MTP draft steps omit `seq_lens_cpu_upper_bound`, so Flash-V100 syncs `seq_lens.to("cpu")` on every draft step (+28% MTP-4 when passed)
未關閉
- 哪裡不對？
難度 4/5 1-2 天新手友好度 58/100

1CatAI/1Cat-vLLM#1361 · 2026年11月4日建立

維護者通常 1 天內回覆
[Performance][SM70][DeepSeek-V4.1] Engram projection all-gather keeps two full copies (2 × 400 MiB per GPU at an 8K chunk); gathering row blocks is bit-identical
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 42/100

1CatAI/1Cat-vLLM#1342 · 2026年11月2日建立

維護者通常 1 天內回覆
[Report] GLM-5.3-Flash EXL3 2.1 bpw on 4× V100-32GB (TP4): fixes, measurements and the configuration we run
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 12/100

1CatAI/1Cat-vLLM#1337 · 2026年10月31日建立

維護者通常 1 天內回覆
[Performance][SM70] `apply_top_k_top_p_triton` synchronizes with the host on every call (`reference_rows.any()`) and clones the logits
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 25/100

1CatAI/1Cat-vLLM#1336 · 2026年10月31日建立

維護者通常 1 天內回覆
[Performance][SM70][EXL3] Wide grouped prefill GEMV (32-slot groups) for #1102: bitwise equal to the 8-slot kernel, 1.4-2.2× per launch, +28-29% GLM-5.3 prefill
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

1CatAI/1Cat-vLLM#1335 · 2026年10月31日建立

維護者通常 1 天內回覆
[Performance][SM70] Fused prefill indexer scorer (relu, head weight and head sum in registers, no fp32 score tile): 1.27-1.34× over `_prefill_logits_cublas`
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

1CatAI/1Cat-vLLM#1334 · 2026年10月31日建立

維護者通常 1 天內回覆
[Performance][SM70][GLM-5.3] Sparse MLA prefill (`sm70_glm53_sparse_mla_fp8_out`, one split): a rewrite that keeps O in registers is 2.5-2.9× faster, +17% end-to-end prefill
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 25/100

1CatAI/1Cat-vLLM#1333 · 2026年10月31日建立

維護者通常 1 天內回覆
[Bug]: [SM70] `sm70_f16_gemm_out` returns wrong values in the last N % 32 columns when N is not a multiple of 32 (no shape check in the op)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

1CatAI/1Cat-vLLM#1332 · 2026年10月31日建立

維護者通常 1 天內回覆
[Bug]: `top_k_per_row_prefill` fills exactly tied logits at the cut in atomicAdd order, so the selected top-k set changes run to run (same logic on vLLM main)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 22/100

1CatAI/1Cat-vLLM#1331 · 2026年10月31日建立

維護者通常 1 天內回覆
[Bug]: [Qwen3.8][DFlash2] Vision completely dropped when serving Qwen/Qwen3.8-27B with DFlash2 speculative decoding
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 32/100

1CatAI/1Cat-vLLM#1329 · 2026年10月31日建立

維護者通常 1 天內回覆
[Performance] SM70 mHC Triton kernels recompile mid-request for new prefill tail lengths (token-count-dependent strides are specialized; 3-4 s per first-seen class)
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 72/100

1CatAI/1Cat-vLLM#1326 · 2026年10月30日建立

維護者通常 1 天內回覆
[Bug] sm70_draft_single_graph capture fails on GLM-5.3: FlashMLA-sparse token_to_req_indices pins memory during stream capture
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 54/100

1CatAI/1Cat-vLLM#1324 · 2026年10月30日建立

維護者通常 1 天內回覆
[Performance] GLM-5.3 (glm5next) MTP drafter decode runs without CUDA graphs: VLLM_SM70_MTP_SPLIT_DRAFT_CUDAGRAPHS not auto-enabled (+10-26% decode when on)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 45/100

1CatAI/1Cat-vLLM#1323 · 2026年10月30日建立

維護者通常 1 天內回覆
[Feature] DFlash2 for Qwen3.8 Flash-Next (Qwen4Exp): reference implementation available
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

1CatAI/1Cat-vLLM#1302 · 2026年10月28日建立

維護者通常 1 天內回覆
[Report][SM70] Qwen3.8-Flash-Next NVFP4 on 4x V100-SXM2-32GB (NVLink), 1.5.1: 4 x 262K at util 0.92 in production; OOM at 0.95; KV offload stalls with Deferred and no error
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 38/100

1CatAI/1Cat-vLLM#1285 · 2026年10月28日建立

維護者通常 1 天內回覆
[Bug][SM70][TurboQuant]: `turboquant_k8v4` answers by repeating the question on some 48K prompts on one V100; `turboquant_4bit_nc` and fp16 answer correctly
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 42/100

1CatAI/1Cat-vLLM#1283 · 2026年10月27日建立

維護者通常 1 天內回覆
[SM70] Tracking: local patches and workarounds needed to run 1.5.1 in production (Qwen3.6-35B-A3B-AWQ, 4xV100 PCIe, TP4)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

1CatAI/1Cat-vLLM#1268 · 1 則留言 · 2026年10月26日建立

維護者通常 1 天內回覆
[SM70] 1.5.1 19-35% slower than 1.2.2 on Qwen3.6-35B-A3B-AWQ TP4: compact top-k/top-p sampler syncs every step; e5m2 XQA off for q_per_kv=4
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 28/100

1CatAI/1Cat-vLLM#1266 · 2 則留言 · 2026年10月26日建立

維護者通常 1 天內回覆
[Bug][Qwen3.8-27b]: SM70 GQA architecture requires KV in [8192, 262144] with 32-token alignment, got 8160.
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1262 · 1 則留言 · 2026年10月25日建立

維護者通常 1 天內回覆
[Bug][KV Offload][Qwen3.8] OffloadingConnector crashes EngineCore on pending transfer_jobs — upstream fix #46231
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1249 · 1 則留言 · 2026年10月22日建立

維護者通常 1 天內回覆
[Feature]: 能支持SystemOne模型吗？
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

1CatAI/1Cat-vLLM#1239 · 2026年10月20日建立

維護者通常 1 天內回覆
[Bug][Hybrid KV][LMCache] EngineCore crashes on failed KV loads / async completion (ValueError, AssertionError)
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1238 · 2026年10月19日建立

維護者通常 1 天內回覆
[Bug][SM70][Qwen3.8][TP8] 双 NV2 岛 8 卡启动在 NCCL 初始化后卡住
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

1CatAI/1Cat-vLLM#1224 · 2026年10月16日建立

維護者通常 1 天內回覆
[Perf][Qwen3.8-27B] Mixed prefill+decode: what decode rate survives a 96K–192K prefill with 6–8 concurrent sessions (4×V100-SXM2-32G, TP4)?
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

1CatAI/1Cat-vLLM#1223 · 2026年10月16日建立

維護者通常 1 天內回覆
[Bug] TP2 on 2×V100-32GB: deterministic CUDA OOM during CUDA-graph capture (main post-1.5.1 build)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

1CatAI/1Cat-vLLM#1220 · 2026年10月15日建立

維護者通常 1 天內回覆
[Community benchmark] 2× V100 PCIe 32GB TP2: QUASAR NVFP4 DFlash2 q7, 4K–256K, replay/shared cache and C1/C2/C4
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 28/100

1CatAI/1Cat-vLLM#1202 · 2026年10月13日建立

維護者通常 1 天內回覆
SM70 (V100) TP4: --async-scheduling deadlocks with DFlash2 ngram_assist (GPU spin, no CUDA error)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

1CatAI/1Cat-vLLM#1173 · 2026年10月11日建立

維護者通常 1 天內回覆
[Feature]: Is it possible to support Qwen3.8-Flash-Next on 8× Tesla V100 16GB?
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

1CatAI/1Cat-vLLM#1158 · 2026年10月10日建立

維護者通常 1 天內回覆
[Performance][SM70] Flash-V100 D=128 prefill is 8-12% faster on long prompts with two small kernel changes (measured, bit-identical, reference patch)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1132 · 2026年10月9日建立

維護者通常 1 天內回覆
[Experiment] VLLM_SM70_AWQ_MLP_DOWN_TILE_OVERLAP + _AR: no perf change on 2x V100-PCIE (TP2, AWQ)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 45/100

1CatAI/1Cat-vLLM#1106 · 2026年10月8日建立

維護者通常 1 天內回覆
[Feature][SM70][Qwen3.8]: Run the FP16 GEMV/HC/GDN-input lanes when Flash-Next is served with vision
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

1CatAI/1Cat-vLLM#1100 · 1 則留言 · 2026年10月8日建立

維護者通常 1 天內回覆
[Bug][FlashQLA][SM70]: NVRTC >= 12.8 writes its precompiled header into the working directory; unprivileged engines die in the GDN warmup
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 45/100

1CatAI/1Cat-vLLM#1098 · 2026年10月8日建立

維護者通常 1 天內回覆
[Benchmark] Qwen3.8-27B NVFP4 on 1x V100-PCIE-32GB (TP1) vs llama.cpp: 1Cat ahead on concurrency and prefill, behind on single-stream decode
未關閉
- 哪裡不對？
難度 1/5 1 小時以內新手友好度 35/100

1CatAI/1Cat-vLLM#1087 · 2026年10月8日建立

維護者通常 1 天內回覆
[Benchmark] Qwen3.8-27B-AWQ-MTP on 2x V100-PCIE (TP2): MAX_SEQS scaling & single/multi-user throughput
未關閉
- 哪裡不對？
難度 1/5 1 小時以內新手友好度 38/100

1CatAI/1Cat-vLLM#1043 · 2026年10月8日建立

維護者通常 1 天內回覆
[Perf Regression] main: concurrent throughput drops up to -59% vs v1.5.1 on V100 (cudagraph shapes truncated?)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1042 · 2026年10月7日建立

維護者通常 1 天內回覆
AutoRound W4A16 (per-expert GPTQ qweight) fails at fused_moe _load_w2 on SM70: packed 80 vs unpacked 640
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1029 · 2026年10月7日建立

維護者通常 1 天內回覆
[Usage]: Is it possible to use only Two V100, and yes which model did you test
未關閉
- 哪裡不對？
難度 1/5 1 小時以內新手友好度 25/100

1CatAI/1Cat-vLLM#1027 · 2026年10月7日建立

維護者通常 1 天內回覆
[Bug][SM70][Qwen3.8] Retrieval correctness depends on max-num-batched-tokens / chunked-prefill boundaries
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 28/100

1CatAI/1Cat-vLLM#1003 · 2 則留言 · 2026年10月6日建立

維護者通常 1 天內回覆
[V100/SM70] Kimi K2.5 Tower native-INT4 on 2×V100-SXM2: EDSQ subquant + vllm_volta plugin port
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

1CatAI/1Cat-vLLM#987 · 2 則留言 · 2026年10月5日建立

維護者通常 1 天內回覆
Mixed-prefill latency control (#860): the 250 ms default stalls new long prompts ~10x on a MoE model over PCIe V100
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 45/100

1CatAI/1Cat-vLLM#880 · 2026年10月4日建立

維護者通常 1 天內回覆
[Bug] SM70 MTP decode deadlocks with >=2 concurrent requests (Qwen3.8-Flash-Next NVFP4, TP4)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

1CatAI/1Cat-vLLM#865 · 2026年10月3日建立

維護者通常 1 天內回覆
[Perf][SM70][PP=2] Disabling async scheduling gives +55% single-stream decode; SM70 async tuning is inert when pp_size > 1
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 42/100

1CatAI/1Cat-vLLM#852 · 2 則留言 · 2026年10月3日建立

維護者通常 1 天內回覆
[Bug]: [SM70][PP2] Native MTP4 over TP4xPP2: engine boots, first request triggers a device-side assert in the last-stage draft path
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

1CatAI/1Cat-vLLM#836 · 2026年10月3日建立

維護者通常 1 天內回覆

只顯示最新的 100 筆

這個頁面只列出最近收錄的部分。完整清單在進階篩選裡，可以依語言、難度和預計耗時篩選。

前往進階篩選

1CatAI

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

只顯示最新的 100 筆

把新 issue 寄到你的電子郵件信箱