Owner

1CatAI

登录后关注

已索引 1 个仓库 · 在 GitHub 查看

1Cat-vLLM
V100 / SM70-focused vLLM engineering fork for modern LLM inference.

Python · 1428 个 star

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

[Feature]: [SM70] Existing E4M3 attention routes cannot cover Yarn-expanded model windows
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

1CatAI/1Cat-vLLM#1424 · 2026年11月8日创建

维护者通常 1 天内回复
[Bug][SM70] Image sets `TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_vllm`, so the ~107 MB compile cache is lost on every container restart (~9 min cold start)
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 76/100

1CatAI/1Cat-vLLM#1423 · 2026年11月8日创建

维护者通常 1 天内回复
[Bug][SM70][1.5.2] Prefix caching silently never hits with default cache geometry on hybrid GDN + `--mamba-cache-mode align` (20.1M queries, 0 hits)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

1CatAI/1Cat-vLLM#1422 · 2026年11月8日创建

维护者通常 1 天内回复
[Bug]: MambaManager (align) asserts num_required_blocks < len(req_blocks) with speculative decoding + async scheduling, EngineCore dies (needs vllm#39562)
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 58/100

1CatAI/1Cat-vLLM#1419 · 2026年11月7日创建

维护者通常 1 天内回复
[SM70][DFlash2][TP4] Captured compact target-rejection graph produces degenerate output for any temperature > 0 (spec7, single request)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1409 · 3 条评论 · 2026年11月7日创建

维护者通常 1 天内回复
SM70 TP4 + DFlash2 7 drafts: default probabilistic draft sampling produces degenerate output at temperature > 0
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 54/100

1CatAI/1Cat-vLLM#1407 · 1 条评论 · 2026年11月7日创建

维护者通常 1 天内回复
[Bug]: Non-MoE DP load imbalance: missing upstream fix #49204
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 55/100

1CatAI/1Cat-vLLM#1405 · 2026年11月6日创建

维护者通常 1 天内回复
[Performance][SM70] V2 EAGLE/MTP draft steps omit `seq_lens_cpu_upper_bound`, so Flash-V100 syncs `seq_lens.to("cpu")` on every draft step (+28% MTP-4 when passed)
未关闭
- 哪里不对？
难度 4/5 1-2 天新手友好度 58/100

1CatAI/1Cat-vLLM#1361 · 2026年11月4日创建

维护者通常 1 天内回复
[Performance][SM70][DeepSeek-V4.1] Engram projection all-gather keeps two full copies (2 × 400 MiB per GPU at an 8K chunk); gathering row blocks is bit-identical
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

1CatAI/1Cat-vLLM#1342 · 2026年11月2日创建

维护者通常 1 天内回复
[Report] GLM-5.3-Flash EXL3 2.1 bpw on 4× V100-32GB (TP4): fixes, measurements and the configuration we run
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 12/100

1CatAI/1Cat-vLLM#1337 · 2026年10月31日创建

维护者通常 1 天内回复
[Performance][SM70] `apply_top_k_top_p_triton` synchronizes with the host on every call (`reference_rows.any()`) and clones the logits
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 25/100

1CatAI/1Cat-vLLM#1336 · 2026年10月31日创建

维护者通常 1 天内回复
[Performance][SM70][EXL3] Wide grouped prefill GEMV (32-slot groups) for #1102: bitwise equal to the 8-slot kernel, 1.4-2.2× per launch, +28-29% GLM-5.3 prefill
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 8/100

1CatAI/1Cat-vLLM#1335 · 2026年10月31日创建

维护者通常 1 天内回复
[Performance][SM70] Fused prefill indexer scorer (relu, head weight and head sum in registers, no fp32 score tile): 1.27-1.34× over `_prefill_logits_cublas`
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 8/100

1CatAI/1Cat-vLLM#1334 · 2026年10月31日创建

维护者通常 1 天内回复
[Performance][SM70][GLM-5.3] Sparse MLA prefill (`sm70_glm53_sparse_mla_fp8_out`, one split): a rewrite that keeps O in registers is 2.5-2.9× faster, +17% end-to-end prefill
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 25/100

1CatAI/1Cat-vLLM#1333 · 2026年10月31日创建

维护者通常 1 天内回复
[Bug]: [SM70] `sm70_f16_gemm_out` returns wrong values in the last N % 32 columns when N is not a multiple of 32 (no shape check in the op)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

1CatAI/1Cat-vLLM#1332 · 2026年10月31日创建

维护者通常 1 天内回复
[Bug]: `top_k_per_row_prefill` fills exactly tied logits at the cut in atomicAdd order, so the selected top-k set changes run to run (same logic on vLLM main)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 22/100

1CatAI/1Cat-vLLM#1331 · 2026年10月31日创建

维护者通常 1 天内回复
[Bug]: [Qwen3.8][DFlash2] Vision completely dropped when serving Qwen/Qwen3.8-27B with DFlash2 speculative decoding
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 32/100

1CatAI/1Cat-vLLM#1329 · 2026年10月31日创建

维护者通常 1 天内回复
[Performance] SM70 mHC Triton kernels recompile mid-request for new prefill tail lengths (token-count-dependent strides are specialized; 3-4 s per first-seen class)
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 72/100

1CatAI/1Cat-vLLM#1326 · 2026年10月30日创建

维护者通常 1 天内回复
[Bug] sm70_draft_single_graph capture fails on GLM-5.3: FlashMLA-sparse token_to_req_indices pins memory during stream capture
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 54/100

1CatAI/1Cat-vLLM#1324 · 2026年10月30日创建

维护者通常 1 天内回复
[Performance] GLM-5.3 (glm5next) MTP drafter decode runs without CUDA graphs: VLLM_SM70_MTP_SPLIT_DRAFT_CUDAGRAPHS not auto-enabled (+10-26% decode when on)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

1CatAI/1Cat-vLLM#1323 · 2026年10月30日创建

维护者通常 1 天内回复
[Feature] DFlash2 for Qwen3.8 Flash-Next (Qwen4Exp): reference implementation available
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

1CatAI/1Cat-vLLM#1302 · 2026年10月28日创建

维护者通常 1 天内回复
[Report][SM70] Qwen3.8-Flash-Next NVFP4 on 4x V100-SXM2-32GB (NVLink), 1.5.1: 4 x 262K at util 0.92 in production; OOM at 0.95; KV offload stalls with Deferred and no error
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

1CatAI/1Cat-vLLM#1285 · 2026年10月28日创建

维护者通常 1 天内回复
[Bug][SM70][TurboQuant]: `turboquant_k8v4` answers by repeating the question on some 48K prompts on one V100; `turboquant_4bit_nc` and fp16 answer correctly
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 42/100

1CatAI/1Cat-vLLM#1283 · 2026年10月27日创建

维护者通常 1 天内回复
[SM70] Tracking: local patches and workarounds needed to run 1.5.1 in production (Qwen3.6-35B-A3B-AWQ, 4xV100 PCIe, TP4)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

1CatAI/1Cat-vLLM#1268 · 1 条评论 · 2026年10月26日创建

维护者通常 1 天内回复
[SM70] 1.5.1 19-35% slower than 1.2.2 on Qwen3.6-35B-A3B-AWQ TP4: compact top-k/top-p sampler syncs every step; e5m2 XQA off for q_per_kv=4
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

1CatAI/1Cat-vLLM#1266 · 2 条评论 · 2026年10月26日创建

维护者通常 1 天内回复
[Bug][Qwen3.8-27b]: SM70 GQA architecture requires KV in [8192, 262144] with 32-token alignment, got 8160.
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1262 · 1 条评论 · 2026年10月25日创建

维护者通常 1 天内回复
[Bug][KV Offload][Qwen3.8] OffloadingConnector crashes EngineCore on pending transfer_jobs — upstream fix #46231
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1249 · 1 条评论 · 2026年10月22日创建

维护者通常 1 天内回复
[Feature]: 能支持SystemOne模型吗？
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

1CatAI/1Cat-vLLM#1239 · 2026年10月20日创建

维护者通常 1 天内回复
[Bug][Hybrid KV][LMCache] EngineCore crashes on failed KV loads / async completion (ValueError, AssertionError)
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1238 · 2026年10月19日创建

维护者通常 1 天内回复
[Bug][SM70][Qwen3.8][TP8] 双 NV2 岛 8 卡启动在 NCCL 初始化后卡住
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

1CatAI/1Cat-vLLM#1224 · 2026年10月16日创建

维护者通常 1 天内回复
[Perf][Qwen3.8-27B] Mixed prefill+decode: what decode rate survives a 96K–192K prefill with 6–8 concurrent sessions (4×V100-SXM2-32G, TP4)?
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

1CatAI/1Cat-vLLM#1223 · 2026年10月16日创建

维护者通常 1 天内回复
[Bug] TP2 on 2×V100-32GB: deterministic CUDA OOM during CUDA-graph capture (main post-1.5.1 build)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

1CatAI/1Cat-vLLM#1220 · 2026年10月15日创建

维护者通常 1 天内回复
[Community benchmark] 2× V100 PCIe 32GB TP2: QUASAR NVFP4 DFlash2 q7, 4K–256K, replay/shared cache and C1/C2/C4
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 28/100

1CatAI/1Cat-vLLM#1202 · 2026年10月13日创建

维护者通常 1 天内回复
SM70 (V100) TP4: --async-scheduling deadlocks with DFlash2 ngram_assist (GPU spin, no CUDA error)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

1CatAI/1Cat-vLLM#1173 · 2026年10月11日创建

维护者通常 1 天内回复
[Feature]: Is it possible to support Qwen3.8-Flash-Next on 8× Tesla V100 16GB?
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

1CatAI/1Cat-vLLM#1158 · 2026年10月10日创建

维护者通常 1 天内回复
[Performance][SM70] Flash-V100 D=128 prefill is 8-12% faster on long prompts with two small kernel changes (measured, bit-identical, reference patch)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1132 · 2026年10月9日创建

维护者通常 1 天内回复
[Experiment] VLLM_SM70_AWQ_MLP_DOWN_TILE_OVERLAP + _AR: no perf change on 2x V100-PCIE (TP2, AWQ)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

1CatAI/1Cat-vLLM#1106 · 2026年10月8日创建

维护者通常 1 天内回复
[Feature][SM70][Qwen3.8]: Run the FP16 GEMV/HC/GDN-input lanes when Flash-Next is served with vision
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

1CatAI/1Cat-vLLM#1100 · 1 条评论 · 2026年10月8日创建

维护者通常 1 天内回复
[Bug][FlashQLA][SM70]: NVRTC >= 12.8 writes its precompiled header into the working directory; unprivileged engines die in the GDN warmup
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 45/100

1CatAI/1Cat-vLLM#1098 · 2026年10月8日创建

维护者通常 1 天内回复
[Benchmark] Qwen3.8-27B NVFP4 on 1x V100-PCIE-32GB (TP1) vs llama.cpp: 1Cat ahead on concurrency and prefill, behind on single-stream decode
未关闭
- 哪里不对？
难度 1/5 1 小时以内新手友好度 35/100

1CatAI/1Cat-vLLM#1087 · 2026年10月8日创建

维护者通常 1 天内回复
[Benchmark] Qwen3.8-27B-AWQ-MTP on 2x V100-PCIE (TP2): MAX_SEQS scaling & single/multi-user throughput
未关闭
- 哪里不对？
难度 1/5 1 小时以内新手友好度 38/100

1CatAI/1Cat-vLLM#1043 · 2026年10月8日创建

维护者通常 1 天内回复
[Perf Regression] main: concurrent throughput drops up to -59% vs v1.5.1 on V100 (cudagraph shapes truncated?)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1042 · 2026年10月7日创建

维护者通常 1 天内回复
AutoRound W4A16 (per-expert GPTQ qweight) fails at fused_moe _load_w2 on SM70: packed 80 vs unpacked 640
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

1CatAI/1Cat-vLLM#1029 · 2026年10月7日创建

维护者通常 1 天内回复
[Usage]: Is it possible to use only Two V100, and yes which model did you test
未关闭
- 哪里不对？
难度 1/5 1 小时以内新手友好度 25/100

1CatAI/1Cat-vLLM#1027 · 2026年10月7日创建

维护者通常 1 天内回复
[Bug][SM70][Qwen3.8] Retrieval correctness depends on max-num-batched-tokens / chunked-prefill boundaries
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

1CatAI/1Cat-vLLM#1003 · 2 条评论 · 2026年10月6日创建

维护者通常 1 天内回复
[V100/SM70] Kimi K2.5 Tower native-INT4 on 2×V100-SXM2: EDSQ subquant + vllm_volta plugin port
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

1CatAI/1Cat-vLLM#987 · 2 条评论 · 2026年10月5日创建

维护者通常 1 天内回复
Mixed-prefill latency control (#860): the 250 ms default stalls new long prompts ~10x on a MoE model over PCIe V100
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

1CatAI/1Cat-vLLM#880 · 2026年10月4日创建

维护者通常 1 天内回复
[Bug] SM70 MTP decode deadlocks with >=2 concurrent requests (Qwen3.8-Flash-Next NVFP4, TP4)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

1CatAI/1Cat-vLLM#865 · 2026年10月3日创建

维护者通常 1 天内回复
[Perf][SM70][PP=2] Disabling async scheduling gives +55% single-stream decode; SM70 async tuning is inert when pp_size > 1
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

1CatAI/1Cat-vLLM#852 · 2 条评论 · 2026年10月3日创建

维护者通常 1 天内回复
[Bug]: [SM70][PP2] Native MTP4 over TP4xPP2: engine boots, first request triggers a device-side assert in the last-stage draft path
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

1CatAI/1Cat-vLLM#836 · 2026年10月3日创建

维护者通常 1 天内回复

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

1CatAI

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

只显示最新的 100 条

把新 issue 发到你的邮箱