オーナー

eugr

ログインしてフォロー

索引済みのリポジトリ 1 件 · GitHub で見る

spark-vllm-docker
Docker configuration for running VLLM on dual DGX Sparks

Python · スター 2348 個

初心者向けすべて

オープンすべて

誰かが対応中かもしれないイシューは最後に並べています。すべて日付順に表示

1M YaRN recipe crashes at config parse: vendored Qwen4ExpConfig copies rope_parameters without max_position_embeddings
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 75/100

eugr/spark-vllm-docker#442 · 2026年10月18日に作成
glm-5.3-flash: set PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True in the recipe's env? Free memory falls by 17 to 19 GiB right after the weights load on two Sparks
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 69/100

eugr/spark-vllm-docker#441 · 2026年10月18日に作成
Mod request: fix-gb10-spin-wait - GB10 shm-broadcast spin-wait pins 3 X925 cores at 100% during decode (head-node SoC heat)
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 62/100

eugr/spark-vllm-docker#438 · 2026年10月16日に作成
Qwen3.8 Flash Next: B12X/GDN long-context illegal memory access + Xid 31 with prefix caching disabled (2x GB10, TP=2)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

eugr/spark-vllm-docker#435 · 2026年10月12日に作成
LMCache support
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 38/100

eugr/spark-vllm-docker#434 · 2026年10月12日に作成
Help setting additional parameters and volumes
オープン
- 何か問題がありますか？
難易度 3/5 1〜3時間初心者へのやさしさ 25/100

eugr/spark-vllm-docker#433 · 2026年10月11日に作成
Add adaptive MTP speculative token depth to B12X recipes
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 52/100

eugr/spark-vllm-docker#432 · コメント 11 件 · リアクション 3 件 · 2026年10月8日に作成
Add scripts for production
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 28/100

eugr/spark-vllm-docker#427 · 2026年10月5日に作成
dual spark recipes in separate sub folder?
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 62/100

eugr/spark-vllm-docker#423 · コメント 1 件 · リアクション 1 件 · 2026年10月3日に作成
vllm crash on Asus GX10 Qwen 3.8 Flash Next
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

eugr/spark-vllm-docker#418 · コメント 6 件 · 2026年9月30日に作成
Question: prefix-cache reuse with concurrent long-context GLM-5.3 hybrid-Mamba sessions
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 20/100

eugr/spark-vllm-docker#416 · 2026年9月24日に作成
Cannot run @eugr/deepseek-v4-flash-0731
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 38/100

eugr/spark-vllm-docker#412 · コメント 1 件 · 2026年9月23日に作成
glm-5.3-flash recipe (nightly-20260913, 2x GB10 TP=2): single chunked-prefill step at ~560K-token context never completes (>11 min), freezes all traffic — GPUs busy, RoCE flowing, no JIT/OOM (differs from #404)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

eugr/spark-vllm-docker#409 · コメント 1 件 · リアクション 2 件 · 2026年9月21日に作成
How to increase max context len for qwen3.8 cluster?
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#405 · コメント 2 件 · リアクション 1 件 · 2026年9月17日に作成
b12x: engine wedges in cudaStreamSynchronize (boundary checkpoint) after NV_ERR_NO_MEMORY during in-flight CuTeDSL JIT (2x GB10, TP=2, GLM-5.3-Flash)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 30/100

eugr/spark-vllm-docker#404 · コメント 1 件 · 2026年9月17日に作成
b12x build: compressed-tensors (pack-quantized) W4A16 checkpoints fail — fused attention module `in_proj_qkvgfab` trips `should_ignore_layer`
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#403 · 2026年9月16日に作成
two sparks cluster with lmcache server, how to change the recipe vllm command???
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 35/100

eugr/spark-vllm-docker#402 · 2026年9月16日に作成
Workaround: deepseek-ai/DeepSeek-V4-Flash-Vision-Exp
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#400 · コメント 8 件 · 2026年9月15日に作成
Request for the GLM-5.3-Flash-NVFP4 recipe with DFlash support. Smaller cache is acceptable, priority is higher inference speed.
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#399 · 2026年9月15日に作成
ValueError: There is no module or parameter named 'aligner' in DeepseekV4ForCausalLM.
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

eugr/spark-vllm-docker#398 · コメント 1 件 · 2026年9月15日に作成
minimax-m2.7-awq recipe fails to start: KV cache 0.75 GiB short at default gpu_memory_utilization: 0.8
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 72/100

eugr/spark-vllm-docker#396 · 2026年9月14日に作成
gpt-oss-120b on the pinned aarch64 image fails at first REQUEST, not at startup, behind restricted egress (TIKTOKEN_ENCODINGS_BASE)
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 63/100

eugr/spark-vllm-docker#395 · 2026年9月14日に作成
99% of open issues are about broken recipes. What is the goal of this project?
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

eugr/spark-vllm-docker#394 · コメント 8 件 · 2026年9月13日に作成
Deepseek 4 Flash Vision Exp recipe is broken (not same error as the other 2 guys)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

eugr/spark-vllm-docker#393 · 2026年9月13日に作成
B12X DeepSeek-V4-Flash-Vision: runtime illegal memory access + Xid 31 in sparse-MLA prefill after ~32 h (2x GB10, TP=2)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

eugr/spark-vllm-docker#391 · 2026年9月13日に作成
Vision-Exp recipe on a 2x GB10 (128 GB) pair, kernel 7.0.0-1019: NCCL memlock ENOMEM at init, and host OOM in FlashInfer autotune at util 0.85
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 55/100

eugr/spark-vllm-docker#389 · コメント 3 件 · 2026年9月12日に作成
Qwen3.8 Flash Next NVFP4 solo recipe exhausts memory and may reboot DGX Spark
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 45/100

eugr/spark-vllm-docker#388 · コメント 5 件 · リアクション 1 件 · 2026年9月11日に作成
Qwen3.8-27B-NVFP4 (qwen3_5): engine dies in startup multimodal profiling on vllm-node:662b3a9 unless --limit-mm-per-prompt image:0
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 38/100

eugr/spark-vllm-docker#386 · 2026年9月11日に作成
hf-download.sh: no way to control --max-workers, defaults to 8 parallel connections which can destabilize consumer routers
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 82/100

eugr/spark-vllm-docker#383 · 2026年9月8日に作成
glm-5.3-flash recipe: --load-format instanttensor causes silent worker death on dual-node TP2
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#377 · コメント 19 件 · 2026年9月6日に作成
Request: Serve a locally stored model without contacting HuggingFace
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 55/100

eugr/spark-vllm-docker#372 · コメント 7 件 · 2026年8月31日に作成
Request: Offline / Airgapped process
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 28/100

eugr/spark-vllm-docker#366 · コメント 2 件 · 2026年8月30日に作成
DSpark spec-decode draft acceptance collapses to ~0 under sustained load (b12x nightly, DeepSeek-V4-Flash-0731, TP=2) — empty responses until restart
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

eugr/spark-vllm-docker#358 · コメント 3 件 · 2026年8月24日に作成
Garbled / looping output with B12X 20260815 build (DeepSeek V4 Flash 0731)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 25/100

eugr/spark-vllm-docker#356 · コメント 2 件 · リアクション 1 件 · 2026年8月23日に作成
B12X: inference hangs in block_fp8_linear_mxfp8_fused (attention input projections, multi-stream) on 2-node GB10 — server healthy, first request never returns
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

eugr/spark-vllm-docker#352 · コメント 6 件 · 2026年8月20日に作成
DeepSeek V4 Flash fails during CUDA graph profiling with B12X FP8 GEMM illegal address after 2026-08-15 image update
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

eugr/spark-vllm-docker#349 · コメント 9 件 · リアクション 1 件 · 2026年8月15日に作成
deepseek-v4-flash-0731 * EngineCore encountered a fatal error
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 28/100

eugr/spark-vllm-docker#348 · コメント 1 件 · 2026年8月15日に作成
For new recipes with the B12X
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

eugr/spark-vllm-docker#346 · コメント 1 件 · 2026年8月11日に作成
Consider publishing a prebuilt MXFP4 image (vllm-node-mxfp4)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#345 · 2026年8月10日に作成
mods/fix-glm-4.7-flash-AWQ fails to apply; set -e then skips the still-valid second patch
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 52/100

eugr/spark-vllm-docker#344 · 2026年8月10日に作成
gemma4-26b-a4b-nvfp4: num_speculative_tokens=2 outperforms the default of 4
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 66/100

eugr/spark-vllm-docker#343 · コメント 3 件 · 2026年8月10日に作成
Docker compose for portainer
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 52/100

eugr/spark-vllm-docker#342 · 2026年8月10日に作成
bug: --discover reuses existing CLUSTER_NODES instead of rescanning
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 72/100

eugr/spark-vllm-docker#338 · コメント 1 件 · 2026年8月8日に作成
Inkling Small: <|end_message|> leaks at end of every message
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 52/100

eugr/spark-vllm-docker#337 · コメント 1 件 · リアクション 1 件 · 2026年8月4日に作成
deepseek-v4-flash: GPU OOM loading MTP drafter on 2× DGX Spark (container, Ray and memory knobs ruled out)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 38/100

eugr/spark-vllm-docker#336 · コメント 2 件 · 2026年8月3日に作成
DeepSeek V4 Flash no-Ray cluster: rank 1 never joins (DistStoreError, 1/2 clients)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

eugr/spark-vllm-docker#335 · 2026年8月3日に作成
Running multiple models at the same time?
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 38/100

eugr/spark-vllm-docker#330 · コメント 3 件 · 2026年7月31日に作成
qwen3.5-397b-int4-autoround issue
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 50/100

eugr/spark-vllm-docker#328 · コメント 2 件 · 2026年7月29日に作成
Docker image mismatch error
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 45/100

eugr/spark-vllm-docker#327 · コメント 5 件 · 2026年7月29日に作成
is chat template fix missing in Qwen3.6-35B-A3B-NVFP4-Marlin-No-MTP?
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 52/100

eugr/spark-vllm-docker#316 · コメント 4 件 · 2026年7月11日に作成

eugr

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

最新の 100 件のみ表示しています

新しい issue をメールで受け取る