HIP: "parallel": 2 + --layer-split on 2x R9700 exits (code 1) after "captured the batch window over slots 0,1"
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- cpp
- Ambito
- machine-learning
Direzione di ricerca
No source files or tests are named. Start by reproducing with the reported HIP setup, "parallel": 2, and layer_split "24", then use the offered debug build or full log to investigate the failure after captured the batch window over slots 0,1. Done means parallel decode with a HIP layer split completes without exiting with code 1.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Setup
- Strata v0.1.39 (6f32ec0) built from source, HIP backend, gfx1201, TheRock ROCm 7.10 wheels, Ubuntu 26.04, kernel 7.0
- 2x Radeon AI PRO R9700 (32 GB), Qwen3.8-Flash-Next IQ3_S
layer_split "24",--trim-stage-weights --mmap-experts, MTP--spec 4— 100% of experts resident in VRAM
What happens
With "parallel": 2, the first time two requests decode together the engine exits with code 1 and no error message. Last log line:
strata verify: captured the batch window over slots 0,1
--batch-groups 2 crashes the same way (last line captured the batch window over slots 0).
What works
- Same box single-lane: ~1,227 tok/s prompt (29K tokens), 52-64 tok/s decode, stable.
"parallel": 2on a single R9700 (no split) — fine."parallel": 2with a layer split on 3x RTX 5070 Ti (CUDA) — fine.
So it looks specific to batch decode + layer split on HIP. Happy to run a debug build or send the full log.
- Lingua principale
- C++
- Stelle
- 11.6k
- Fork
- 1k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Niko1221/Strata
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 3 giorni
-
[Benchmark] Tesla T4 (sm_75): kIlRows_75 gives +12% on a T4; MMVQ_IL_TABLE.md says sm_75 is offAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 3 giorni
-
[Other] tools/test_strata_mcp.py: unittest.main() sits before the last three test classes, so a direct run skips 7 testsForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 3 giorni
-
[Other] tools/test_strata_mcp.py: the Mac DeepSeek list test fails on main (it still expects the two IST-DAS sets)Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 3 giorni
-
[Engine] "Download and prepare" asks for the full 128 GB on an installed NVFP4 pack: the disk check looks in models\<family-tag><model> while setup writes models\<owner>--<repo>Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
Niko1221/Strata#4892 · 1 commento ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di Niko1221/Strata
Issue simili
-
bug difficulty: easy good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
nagisa-kamishiro/rosehip#73 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
pocoproject/poco#5626 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
md ファイルの段落途中の改行をなくすAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno