Proprietário

eugr

Entre para seguir

1 repositório indexado · Ver no GitHub

spark-vllm-docker
Docker configuration for running VLLM on dual DGX Sparks

Python · 2348 estrelas

Para iniciantes Tudo

Abertas Todas

Issues em que talvez alguém já esteja trabalhando aparecem no fim. Ordenar tudo por data

1M YaRN recipe crashes at config parse: vendored Qwen4ExpConfig copies rope_parameters without max_position_embeddings
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100

eugr/spark-vllm-docker#442 · 1 reação · Aberta em 18/10/2026
glm-5.3-flash: set PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True in the recipe's env? Free memory falls by 17 to 19 GiB right after the weights load on two Sparks
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 69/100

eugr/spark-vllm-docker#441 · 1 reação · Aberta em 18/10/2026
Mod request: fix-gb10-spin-wait - GB10 shm-broadcast spin-wait pins 3 X925 cores at 100% during decode (head-node SoC heat)
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 62/100

eugr/spark-vllm-docker#438 · Aberta em 16/10/2026
Qwen3.8 Flash Next: B12X/GDN long-context illegal memory access + Xid 31 with prefix caching disabled (2x GB10, TP=2)
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#435 · Aberta em 12/10/2026
LMCache support
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 38/100

eugr/spark-vllm-docker#434 · Aberta em 12/10/2026
Help setting additional parameters and volumes
Aberta
- Algo errado?
Dificuldade 3/5 1-3 horas Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#433 · Aberta em 11/10/2026
Add adaptive MTP speculative token depth to B12X recipes
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 52/100

eugr/spark-vllm-docker#432 · 11 comentários · 3 reações · Aberta em 8/10/2026
Add scripts for production
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 28/100

eugr/spark-vllm-docker#427 · Aberta em 5/10/2026
dual spark recipes in separate sub folder?
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100

eugr/spark-vllm-docker#423 · 1 comentário · 2 reações · Aberta em 3/10/2026
vllm crash on Asus GX10 Qwen 3.8 Flash Next
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100

eugr/spark-vllm-docker#418 · 6 comentários · Aberta em 30/9/2026
Question: prefix-cache reuse with concurrent long-context GLM-5.3 hybrid-Mamba sessions
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100

eugr/spark-vllm-docker#416 · Aberta em 24/9/2026
Cannot run @eugr/deepseek-v4-flash-0731
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 38/100

eugr/spark-vllm-docker#412 · 1 comentário · Aberta em 23/9/2026
glm-5.3-flash recipe (nightly-20260913, 2x GB10 TP=2): single chunked-prefill step at ~560K-token context never completes (>11 min), freezes all traffic — GPUs busy, RoCE flowing, no JIT/OOM (differs from #404)
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#409 · 1 comentário · 2 reações · Aberta em 21/9/2026
How to increase max context len for qwen3.8 cluster?
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#405 · 2 comentários · 1 reação · Aberta em 17/9/2026
b12x: engine wedges in cudaStreamSynchronize (boundary checkpoint) after NV_ERR_NO_MEMORY during in-flight CuTeDSL JIT (2x GB10, TP=2, GLM-5.3-Flash)
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 30/100

eugr/spark-vllm-docker#404 · 1 comentário · Aberta em 17/9/2026
b12x build: compressed-tensors (pack-quantized) W4A16 checkpoints fail — fused attention module `in_proj_qkvgfab` trips `should_ignore_layer`
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#403 · Aberta em 16/9/2026
two sparks cluster with lmcache server, how to change the recipe vllm command???
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100

eugr/spark-vllm-docker#402 · Aberta em 16/9/2026
Workaround: deepseek-ai/DeepSeek-V4-Flash-Vision-Exp
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#400 · 8 comentários · Aberta em 15/9/2026
Request for the GLM-5.3-Flash-NVFP4 recipe with DFlash support. Smaller cache is acceptable, priority is higher inference speed.
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#399 · Aberta em 15/9/2026
ValueError: There is no module or parameter named 'aligner' in DeepseekV4ForCausalLM.
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100

eugr/spark-vllm-docker#398 · 1 comentário · Aberta em 15/9/2026
minimax-m2.7-awq recipe fails to start: KV cache 0.75 GiB short at default gpu_memory_utilization: 0.8
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100

eugr/spark-vllm-docker#396 · Aberta em 14/9/2026
gpt-oss-120b on the pinned aarch64 image fails at first REQUEST, not at startup, behind restricted egress (TIKTOKEN_ENCODINGS_BASE)
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 63/100

eugr/spark-vllm-docker#395 · Aberta em 14/9/2026
99% of open issues are about broken recipes. What is the goal of this project?
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100

eugr/spark-vllm-docker#394 · 8 comentários · Aberta em 13/9/2026
Deepseek 4 Flash Vision Exp recipe is broken (not same error as the other 2 guys)
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100

eugr/spark-vllm-docker#393 · Aberta em 13/9/2026
B12X DeepSeek-V4-Flash-Vision: runtime illegal memory access + Xid 31 in sparse-MLA prefill after ~32 h (2x GB10, TP=2)
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#391 · Aberta em 13/9/2026
Vision-Exp recipe on a 2x GB10 (128 GB) pair, kernel 7.0.0-1019: NCCL memlock ENOMEM at init, and host OOM in FlashInfer autotune at util 0.85
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100

eugr/spark-vllm-docker#389 · 3 comentários · Aberta em 12/9/2026
Qwen3.8 Flash Next NVFP4 solo recipe exhausts memory and may reboot DGX Spark
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100

eugr/spark-vllm-docker#388 · 5 comentários · 1 reação · Aberta em 11/9/2026
Qwen3.8-27B-NVFP4 (qwen3_5): engine dies in startup multimodal profiling on vllm-node:662b3a9 unless --limit-mm-per-prompt image:0
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 38/100

eugr/spark-vllm-docker#386 · Aberta em 11/9/2026
hf-download.sh: no way to control --max-workers, defaults to 8 parallel connections which can destabilize consumer routers
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100

eugr/spark-vllm-docker#383 · Aberta em 8/9/2026
glm-5.3-flash recipe: --load-format instanttensor causes silent worker death on dual-node TP2
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#377 · 19 comentários · Aberta em 6/9/2026
Request: Serve a locally stored model without contacting HuggingFace
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100

eugr/spark-vllm-docker#372 · 7 comentários · Aberta em 31/8/2026
Request: Offline / Airgapped process
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 28/100

eugr/spark-vllm-docker#366 · 2 comentários · Aberta em 30/8/2026
DSpark spec-decode draft acceptance collapses to ~0 under sustained load (b12x nightly, DeepSeek-V4-Flash-0731, TP=2) — empty responses until restart
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#358 · 3 comentários · Aberta em 24/8/2026
Garbled / looping output with B12X 20260815 build (DeepSeek V4 Flash 0731)
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#356 · 2 comentários · 1 reação · Aberta em 23/8/2026
B12X: inference hangs in block_fp8_linear_mxfp8_fused (attention input projections, multi-stream) on 2-node GB10 — server healthy, first request never returns
Aberta
- Algo errado?
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100

eugr/spark-vllm-docker#352 · 6 comentários · Aberta em 20/8/2026
DeepSeek V4 Flash fails during CUDA graph profiling with B12X FP8 GEMM illegal address after 2026-08-15 image update
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

eugr/spark-vllm-docker#349 · 9 comentários · 1 reação · Aberta em 15/8/2026
deepseek-v4-flash-0731 * EngineCore encountered a fatal error
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 28/100

eugr/spark-vllm-docker#348 · 1 comentário · Aberta em 15/8/2026
For new recipes with the B12X
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100

eugr/spark-vllm-docker#346 · 1 comentário · Aberta em 11/8/2026
Consider publishing a prebuilt MXFP4 image (vllm-node-mxfp4)
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#345 · Aberta em 10/8/2026
mods/fix-glm-4.7-flash-AWQ fails to apply; set -e then skips the still-valid second patch
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 52/100

eugr/spark-vllm-docker#344 · Aberta em 10/8/2026
gemma4-26b-a4b-nvfp4: num_speculative_tokens=2 outperforms the default of 4
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100

eugr/spark-vllm-docker#343 · 3 comentários · Aberta em 10/8/2026
Docker compose for portainer
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 52/100

eugr/spark-vllm-docker#342 · Aberta em 10/8/2026
bug: --discover reuses existing CLUSTER_NODES instead of rescanning
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100

eugr/spark-vllm-docker#338 · 1 comentário · Aberta em 8/8/2026
Inkling Small: <|end_message|> leaks at end of every message
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 52/100

eugr/spark-vllm-docker#337 · 1 comentário · 1 reação · Aberta em 4/8/2026
deepseek-v4-flash: GPU OOM loading MTP drafter on 2× DGX Spark (container, Ray and memory knobs ruled out)
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 38/100

eugr/spark-vllm-docker#336 · 2 comentários · Aberta em 3/8/2026
DeepSeek V4 Flash no-Ray cluster: rank 1 never joins (DistStoreError, 1/2 clients)
Aberta
- Algo errado?
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

eugr/spark-vllm-docker#335 · Aberta em 3/8/2026
Running multiple models at the same time?
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 38/100

eugr/spark-vllm-docker#330 · 3 comentários · Aberta em 31/7/2026
qwen3.5-397b-int4-autoround issue
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 50/100

eugr/spark-vllm-docker#328 · 2 comentários · Aberta em 29/7/2026
Docker image mismatch error
Aberta
- Algo errado?
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100

eugr/spark-vllm-docker#327 · 5 comentários · Aberta em 29/7/2026
is chat template fix missing in Qwen3.6-35B-A3B-NVFP4-Marlin-No-MTP?
Aberta
- Algo errado?
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 52/100

eugr/spark-vllm-docker#316 · 4 comentários · Aberta em 11/7/2026

Mostrando os 100 mais recentes

Esta página lista apenas o que foi indexado mais recentemente. O filtro avançado tem o inventário completo, refinado por linguagem, dificuldade e duração.

Abrir o filtro avançado

eugr

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Algo errado?

Mostrando os 100 mais recentes

Receba novas issues na sua caixa de entrada