Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

starter task: MVP port mi355 deepseek disagg recipe to mi300 / 入门任务：将 MI355 DeepSeek 分离式配方移植到 MI300

Đang mở
  • Có gì không ổn?
#982 1 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@JordanNanos đang làm issue này rồi.

Từ ngày 30/3/2026.

  • #998 của @JordanNanos — đã đóng, không merge

Đánh giá

Issue này chưa được đánh giá.

Mô tả

AMD p0

after porting mi355 to mi325, port to mi300

  1. https://github.com/SemiAnalysisAI/InferenceX/blob/41147ad860b2d04b3fad8553d02d88a7b7e89c46/.github/configs/amd-master.yaml#L506-L556 (mi355 disagg fp8 deepseek for non-mtp & mtp) port over to mi325 (CDNA3)
  2. https://github.com/SemiAnalysisAI/InferenceX/blob/main/benchmarks/multi_node/dsr1_fp8_mi355x_sglang-disagg.sh (that then calls generate sweep py which calls this launcher script) . This uses (image: rocm/sgl-dev:sglang-0.5.9-rocm720-mi35x-mori-0227-2 but @JordanNanos u probably need to find the mi30x evquilaent of this. check the upstream nightly images have MoRI included https://hub.docker.com/r/lmsysorg/sglang-daily/tags, if not build using this. https://github.com/akao-amd/sglang/blob/main/docker/rocm.Dockerfile . ensure that u build it with the correct NIC)
  3. which calls the files in here https://github.com/SemiAnalysisAI/InferenceX/tree/main/benchmarks/multi_node/amd_utils (which is based on bill's repo, it might be easier as first attempt to use bill's repo to locally run it https://github.com/billishyahao/sglang_disagg without the abstractions of runners/generate config .py/etc)

probably start doing 1k/1k on 1P1D first since it is an faster debugging loop, and then after u got that working with /sweep, add the rest of the configs to ur PR

中文说明

在完成 MI325 移植后，将 MI355 DeepSeek 分离式推理配方移植到 MI300 (CDNA3)。包括：(1) 将 amd-master.yaml 中的 MI355 分离式 FP8 DeepSeek 配置（非 MTP 和 MTP）移植到 MI300；(2) 适配多节点启动脚本，找到 MI300 对应的 SGLang ROCm 镜像（需包含 MoRI，若上游 nightly 无此镜像则需自行构建，并确保使用正确的 NIC）；(3) 复用 benchmarks/multi_node/amd_utils 中的工具。建议先从 1k/1k 的 1P1D 开始调试。

Ngôn ngữ chính
Python
Star
1.9k
Fork
343
Merge trung bình
2 ngày 40 phút
Pull request đã merge (30 ngày)
431

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SemiAnalysisAI/InferenceX

Tất cả issue của SemiAnalysisAI/InferenceX

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.