Owner

eugr

登录后关注

已索引 1 个仓库 · 在 GitHub 查看

spark-vllm-docker
Docker configuration for running VLLM on dual DGX Sparks

Python · 2348 个 star

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

1M YaRN recipe crashes at config parse: vendored Qwen4ExpConfig copies rope_parameters without max_position_embeddings
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 75/100

eugr/spark-vllm-docker#442 · 2026年10月18日创建
glm-5.3-flash: set PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True in the recipe's env? Free memory falls by 17 to 19 GiB right after the weights load on two Sparks
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 69/100

eugr/spark-vllm-docker#441 · 2026年10月18日创建
Mod request: fix-gb10-spin-wait - GB10 shm-broadcast spin-wait pins 3 X925 cores at 100% during decode (head-node SoC heat)
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 62/100

eugr/spark-vllm-docker#438 · 2026年10月16日创建
Qwen3.8 Flash Next: B12X/GDN long-context illegal memory access + Xid 31 with prefix caching disabled (2x GB10, TP=2)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

eugr/spark-vllm-docker#435 · 2026年10月12日创建
LMCache support
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 38/100

eugr/spark-vllm-docker#434 · 2026年10月12日创建
Help setting additional parameters and volumes
未关闭
- 哪里不对？
难度 3/5 1-3 小时新手友好度 25/100

eugr/spark-vllm-docker#433 · 2026年10月11日创建
Add adaptive MTP speculative token depth to B12X recipes
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 52/100

eugr/spark-vllm-docker#432 · 11 条评论 · 3 个 reaction · 2026年10月8日创建
Add scripts for production
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

eugr/spark-vllm-docker#427 · 2026年10月5日创建
dual spark recipes in separate sub folder?
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 62/100

eugr/spark-vllm-docker#423 · 1 条评论 · 1 个 reaction · 2026年10月3日创建
vllm crash on Asus GX10 Qwen 3.8 Flash Next
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

eugr/spark-vllm-docker#418 · 6 条评论 · 2026年9月30日创建
Question: prefix-cache reuse with concurrent long-context GLM-5.3 hybrid-Mamba sessions
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 20/100

eugr/spark-vllm-docker#416 · 2026年9月24日创建
Cannot run @eugr/deepseek-v4-flash-0731
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

eugr/spark-vllm-docker#412 · 1 条评论 · 2026年9月23日创建
glm-5.3-flash recipe (nightly-20260913, 2x GB10 TP=2): single chunked-prefill step at ~560K-token context never completes (>11 min), freezes all traffic — GPUs busy, RoCE flowing, no JIT/OOM (differs from #404)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

eugr/spark-vllm-docker#409 · 1 条评论 · 2 个 reaction · 2026年9月21日创建
How to increase max context len for qwen3.8 cluster?
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 48/100

eugr/spark-vllm-docker#405 · 2 条评论 · 1 个 reaction · 2026年9月17日创建
b12x: engine wedges in cudaStreamSynchronize (boundary checkpoint) after NV_ERR_NO_MEMORY during in-flight CuTeDSL JIT (2x GB10, TP=2, GLM-5.3-Flash)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 30/100

eugr/spark-vllm-docker#404 · 1 条评论 · 2026年9月17日创建
b12x build: compressed-tensors (pack-quantized) W4A16 checkpoints fail — fused attention module `in_proj_qkvgfab` trips `should_ignore_layer`
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

eugr/spark-vllm-docker#403 · 2026年9月16日创建
two sparks cluster with lmcache server, how to change the recipe vllm command???
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 35/100

eugr/spark-vllm-docker#402 · 2026年9月16日创建
Workaround: deepseek-ai/DeepSeek-V4-Flash-Vision-Exp
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

eugr/spark-vllm-docker#400 · 8 条评论 · 2026年9月15日创建
Request for the GLM-5.3-Flash-NVFP4 recipe with DFlash support. Smaller cache is acceptable, priority is higher inference speed.
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

eugr/spark-vllm-docker#399 · 2026年9月15日创建
ValueError: There is no module or parameter named 'aligner' in DeepseekV4ForCausalLM.
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

eugr/spark-vllm-docker#398 · 1 条评论 · 2026年9月15日创建
minimax-m2.7-awq recipe fails to start: KV cache 0.75 GiB short at default gpu_memory_utilization: 0.8
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 72/100

eugr/spark-vllm-docker#396 · 2026年9月14日创建
gpt-oss-120b on the pinned aarch64 image fails at first REQUEST, not at startup, behind restricted egress (TIKTOKEN_ENCODINGS_BASE)
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 63/100

eugr/spark-vllm-docker#395 · 2026年9月14日创建
99% of open issues are about broken recipes. What is the goal of this project?
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

eugr/spark-vllm-docker#394 · 8 条评论 · 2026年9月13日创建
Deepseek 4 Flash Vision Exp recipe is broken (not same error as the other 2 guys)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

eugr/spark-vllm-docker#393 · 2026年9月13日创建
B12X DeepSeek-V4-Flash-Vision: runtime illegal memory access + Xid 31 in sparse-MLA prefill after ~32 h (2x GB10, TP=2)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

eugr/spark-vllm-docker#391 · 2026年9月13日创建
Vision-Exp recipe on a 2x GB10 (128 GB) pair, kernel 7.0.0-1019: NCCL memlock ENOMEM at init, and host OOM in FlashInfer autotune at util 0.85
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 55/100

eugr/spark-vllm-docker#389 · 3 条评论 · 2026年9月12日创建
Qwen3.8 Flash Next NVFP4 solo recipe exhausts memory and may reboot DGX Spark
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

eugr/spark-vllm-docker#388 · 5 条评论 · 1 个 reaction · 2026年9月11日创建
Qwen3.8-27B-NVFP4 (qwen3_5): engine dies in startup multimodal profiling on vllm-node:662b3a9 unless --limit-mm-per-prompt image:0
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

eugr/spark-vllm-docker#386 · 2026年9月11日创建
hf-download.sh: no way to control --max-workers, defaults to 8 parallel connections which can destabilize consumer routers
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 82/100

eugr/spark-vllm-docker#383 · 2026年9月8日创建
glm-5.3-flash recipe: --load-format instanttensor causes silent worker death on dual-node TP2
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

eugr/spark-vllm-docker#377 · 19 条评论 · 2026年9月6日创建
Request: Serve a locally stored model without contacting HuggingFace
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 55/100

eugr/spark-vllm-docker#372 · 7 条评论 · 2026年8月31日创建
Request: Offline / Airgapped process
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

eugr/spark-vllm-docker#366 · 2 条评论 · 2026年8月30日创建
DSpark spec-decode draft acceptance collapses to ~0 under sustained load (b12x nightly, DeepSeek-V4-Flash-0731, TP=2) — empty responses until restart
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

eugr/spark-vllm-docker#358 · 3 条评论 · 2026年8月24日创建
Garbled / looping output with B12X 20260815 build (DeepSeek V4 Flash 0731)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 25/100

eugr/spark-vllm-docker#356 · 2 条评论 · 1 个 reaction · 2026年8月23日创建
B12X: inference hangs in block_fp8_linear_mxfp8_fused (attention input projections, multi-stream) on 2-node GB10 — server healthy, first request never returns
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

eugr/spark-vllm-docker#352 · 6 条评论 · 2026年8月20日创建
DeepSeek V4 Flash fails during CUDA graph profiling with B12X FP8 GEMM illegal address after 2026-08-15 image update
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

eugr/spark-vllm-docker#349 · 9 条评论 · 1 个 reaction · 2026年8月15日创建
deepseek-v4-flash-0731 * EngineCore encountered a fatal error
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 28/100

eugr/spark-vllm-docker#348 · 1 条评论 · 2026年8月15日创建
For new recipes with the B12X
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

eugr/spark-vllm-docker#346 · 1 条评论 · 2026年8月11日创建
Consider publishing a prebuilt MXFP4 image (vllm-node-mxfp4)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

eugr/spark-vllm-docker#345 · 2026年8月10日创建
mods/fix-glm-4.7-flash-AWQ fails to apply; set -e then skips the still-valid second patch
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 52/100

eugr/spark-vllm-docker#344 · 2026年8月10日创建
gemma4-26b-a4b-nvfp4: num_speculative_tokens=2 outperforms the default of 4
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 66/100

eugr/spark-vllm-docker#343 · 3 条评论 · 2026年8月10日创建
Docker compose for portainer
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 52/100

eugr/spark-vllm-docker#342 · 2026年8月10日创建
bug: --discover reuses existing CLUSTER_NODES instead of rescanning
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 72/100

eugr/spark-vllm-docker#338 · 1 条评论 · 2026年8月8日创建
Inkling Small: <|end_message|> leaks at end of every message
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 52/100

eugr/spark-vllm-docker#337 · 1 条评论 · 1 个 reaction · 2026年8月4日创建
deepseek-v4-flash: GPU OOM loading MTP drafter on 2× DGX Spark (container, Ray and memory knobs ruled out)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

eugr/spark-vllm-docker#336 · 2 条评论 · 2026年8月3日创建
DeepSeek V4 Flash no-Ray cluster: rank 1 never joins (DistStoreError, 1/2 clients)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

eugr/spark-vllm-docker#335 · 2026年8月3日创建
Running multiple models at the same time?
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 38/100

eugr/spark-vllm-docker#330 · 3 条评论 · 2026年7月31日创建
qwen3.5-397b-int4-autoround issue
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 50/100

eugr/spark-vllm-docker#328 · 2 条评论 · 2026年7月29日创建
Docker image mismatch error
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 45/100

eugr/spark-vllm-docker#327 · 5 条评论 · 2026年7月29日创建
is chat template fix missing in Qwen3.6-35B-A3B-NVFP4-Marlin-No-MTP?
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 52/100

eugr/spark-vllm-docker#316 · 4 条评论 · 2026年7月11日创建

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

eugr

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

只显示最新的 100 条

把新 issue 发到你的邮箱