help wanted
Repository metrics
- Stars
- (2,180 stars)
- PR merge metrics
- (Avg merge 4d 5h) (559 merged PRs in 30d)
Description
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
📚 任务问题描述
任务描述
该任务拆分自 #9079,任务 ID:#3。
当前MoE通信方式选择通过 select_moe_comm_method 函数,此函数存在以下问题:
- 函数超长,可读性差,分支和判断条件无注释,不利于后续多硬件扩展。
VLLM_ASCEND_ENABLE_FUSED_MC2 == 1后续可能会废弃,分支不明确。- moe通信策略选择不应该依赖prefill和decode阶段,splitfuse场景下,存在PD混推。
- 部分分支已过时,需删减;比如,
dispatch_ffn_combine_enable不应该依赖是否存在draft_model。 - mc2的capcity和fused mc2的capacity不相同。
验收标准
- 重构后各模型各硬件场景性能不裂化。
- 在developer guide中有文档介绍MoE通信算子选择策略,如和前序版本有变更,需说明变更前后差异。
对接人
@jyoung6652
认领状态
待认领
建议的替代/修复方案
请根据任务描述提交实现、测试或文档 PR,并在 PR 中关联本 issue 与 #9079;如实现过程中发现任务边界、使用指导或现有行为存在不合理之处,请同步补充说明和最小复现。
欢迎加入社区,感谢您对社区的贡献 🎉!