starter task: MVP port mi355 deepseek disagg recipe to mi300 / 入门任务：将 MI355 DeepSeek 分离式配方移植到 MI300
I maintainer di solito rispondono entro 1 giorno
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
after porting mi355 to mi325, port to mi300
- https://github.com/SemiAnalysisAI/InferenceX/blob/41147ad860b2d04b3fad8553d02d88a7b7e89c46/.github/configs/amd-master.yaml#L506-L556 (mi355 disagg fp8 deepseek for non-mtp & mtp) port over to mi325 (CDNA3)
- https://github.com/SemiAnalysisAI/InferenceX/blob/main/benchmarks/multi_node/dsr1_fp8_mi355x_sglang-disagg.sh (that then calls generate sweep py which calls this launcher script) . This uses (
image: rocm/sgl-dev:sglang-0.5.9-rocm720-mi35x-mori-0227-2but @JordanNanos u probably need to find the mi30x evquilaent of this. check the upstream nightly images have MoRI included https://hub.docker.com/r/lmsysorg/sglang-daily/tags, if not build using this. https://github.com/akao-amd/sglang/blob/main/docker/rocm.Dockerfile . ensure that u build it with the correct NIC) - which calls the files in here https://github.com/SemiAnalysisAI/InferenceX/tree/main/benchmarks/multi_node/amd_utils (which is based on bill's repo, it might be easier as first attempt to use bill's repo to locally run it https://github.com/billishyahao/sglang_disagg without the abstractions of runners/generate config .py/etc)
probably start doing 1k/1k on 1P1D first since it is an faster debugging loop, and then after u got that working with /sweep, add the rest of the configs to ur PR
中文说明
在完成 MI325 移植后，将 MI355 DeepSeek 分离式推理配方移植到 MI300 (CDNA3)。包括：(1) 将 amd-master.yaml 中的 MI355 分离式 FP8 DeepSeek 配置（非 MTP 和 MTP）移植到 MI300；(2) 适配多节点启动脚本，找到 MI300 对应的 SGLang ROCm 镜像（需包含 MoRI，若上游 nightly 无此镜像则需自行构建，并确保使用正确的 NIC）；(3) 复用 benchmarks/multi_node/amd_utils 中的工具。建议先从 1k/1k 的 1P1D 开始调试。
- Lingua principale
- Python
- Stelle
- 1.9k
- Fork
- 343
- Merge medio
- 2g 40m
- PR unite (30g)
- 431
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di SemiAnalysisAI/InferenceX
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
SemiAnalysisAI/InferenceX#2125 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
SemiAnalysisAI/InferenceX#1587 ·
I maintainer di solito rispondono entro 1 giorno
-
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败Forse di nuovo libera @sahil-bhatti-ai l’ha presa 170 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
SemiAnalysisAI/InferenceX#1369 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 76/100
SemiAnalysisAI/InferenceX#1359 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 Meno di un'ora Idoneità per principianti 18/100
SemiAnalysisAI/InferenceX#4655 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di SemiAnalysisAI/InferenceX
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
BCDA-APS/polar-bits#93 ·
-
infer_audio_type only recognises one MPEG Layer III frame header, so most MP3 files are rejectedForse già presa @Steve-20-ai l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
[BUG] - ssh_config `Match tagged` statement always appliesForse già presa @AtharvRG l’ha presa oggi. ApertaBug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
paramiko/paramiko#2715 · 1 commento ·
I maintainer di solito rispondono entro 9 giorni
-
auto-rejected intake mcp-intake needs-salvage priority:high type:feature
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
Ikalus1988/MisakaNet#4221 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno