starter task: MVP port mi355 deepseek disagg recipe to mi300 / 入门任务：将 MI355 DeepSeek 分离式配方移植到 MI300
維護者通常 1 天內回覆
評估
這個 Issue 還沒有評估資料。
描述
after porting mi355 to mi325, port to mi300
- https://github.com/SemiAnalysisAI/InferenceX/blob/41147ad860b2d04b3fad8553d02d88a7b7e89c46/.github/configs/amd-master.yaml#L506-L556 (mi355 disagg fp8 deepseek for non-mtp & mtp) port over to mi325 (CDNA3)
- https://github.com/SemiAnalysisAI/InferenceX/blob/main/benchmarks/multi_node/dsr1_fp8_mi355x_sglang-disagg.sh (that then calls generate sweep py which calls this launcher script) . This uses (
image: rocm/sgl-dev:sglang-0.5.9-rocm720-mi35x-mori-0227-2but @JordanNanos u probably need to find the mi30x evquilaent of this. check the upstream nightly images have MoRI included https://hub.docker.com/r/lmsysorg/sglang-daily/tags, if not build using this. https://github.com/akao-amd/sglang/blob/main/docker/rocm.Dockerfile . ensure that u build it with the correct NIC) - which calls the files in here https://github.com/SemiAnalysisAI/InferenceX/tree/main/benchmarks/multi_node/amd_utils (which is based on bill's repo, it might be easier as first attempt to use bill's repo to locally run it https://github.com/billishyahao/sglang_disagg without the abstractions of runners/generate config .py/etc)
probably start doing 1k/1k on 1P1D first since it is an faster debugging loop, and then after u got that working with /sweep, add the rest of the configs to ur PR
中文说明
在完成 MI325 移植后，将 MI355 DeepSeek 分离式推理配方移植到 MI300 (CDNA3)。包括：(1) 将 amd-master.yaml 中的 MI355 分离式 FP8 DeepSeek 配置（非 MTP 和 MTP）移植到 MI300；(2) 适配多节点启动脚本，找到 MI300 对应的 SGLang ROCm 镜像（需包含 MoRI，若上游 nightly 无此镜像则需自行构建，并确保使用正确的 NIC）；(3) 复用 benchmarks/multi_node/amd_utils 中的工具。建议先从 1k/1k 的 1P1D 开始调试。
- 主要語言
- Python
- 星號
- 1.9k
- 分支
- 343
- 平均合併
- 2 天 40 分鐘
- 30 天內合併 PR
- 431
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
SemiAnalysisAI/InferenceX 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 68/100
SemiAnalysisAI/InferenceX#2125 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 68/100
SemiAnalysisAI/InferenceX#1587 ·
維護者通常 1 天內回覆
-
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败可能重新可做 @sahil-bhatti-ai 於 171 天前認領，目前沒有進行中的 PR。 未關閉
難度 1/5 1 小時以內 新手友好度 78/100
SemiAnalysisAI/InferenceX#1369 · 3 則留言 ·
維護者通常 1 天內回覆
-
難度 1/5 1-3 小時 新手友好度 76/100
SemiAnalysisAI/InferenceX#1359 · 1 則留言 ·
維護者通常 1 天內回覆
-
難度 2/5 1 小時以內 新手友好度 18/100
SemiAnalysisAI/InferenceX#4655 · 2 則留言 ·
維護者通常 1 天內回覆
查看 SemiAnalysisAI/InferenceX 的全部 Issue
相似的 Issue
-
good first issue test
難度 2/5 1-3 小時 新手友好度 85/100
ANCORATE/EncryptHome#8 ·
-
PluginProvider.storeInstance races and clobbers the dedup cache for concurrent loads可能已有人在做 @Wilson0511 今天認領。 未關閉needs-triage
難度 2/5 1-3 小時 新手友好度 62/100
維護者通常 2 天內回覆
-
Bug: failed Together chat calls do not record operation duration or error.type可能已有人在做 關聯的 PR 仍在進行中或已合併。 未關閉
難度 2/5 1-3 小時 新手友好度 72/100
維護者通常 1 天內回覆
-
community documentation good first issue
難度 2/5 1-3 小時 新手友好度 75/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100