vllm-project/vllm-ascend

[Contribution] 任务 #4:Mooncake KV Connector 调度侧/Worker 侧解耦重构

Open

#10,651 opened on Jun 18, 2026

View on GitHub
 (2 comments) (0 reactions) (0 assignees)C++ (1,318 forks)github user discovery
help wanted

Repository metrics

Stars
 (2,180 stars)
PR merge metrics
 (Avg merge 4d 5h) (559 merged PRs in 30d)

Description

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

📚 任务问题描述

任务描述

该任务拆分自 #9079,任务 ID:#4。

vLLM 主仓 nixl_connector.py 已完成 connector 架构重构,将 Scheduler 侧请求调度、metadata 生成、KV block 选择逻辑,与 Worker 侧 KV cache 传输、buffer 管理、后台收发线程逻辑进一步解耦。当前 vllm-ascend 中 mooncake_connector.pymooncake_layerwise_connector.py 仍需要按主仓 NIXL connector 的新架构进行对齐重构,统一 Mooncake 普通传输和 layerwise 传输的 Scheduler/Worker 职责边界,减少耦合和重复逻辑,提升后续 PD 分离、layerwise 传输、HMA、KV cache 传输能力演进的可维护性。

验收标准

  1. mooncake_connector.pymooncake_layerwise_connector.py 完成 Scheduler 侧/Worker 侧职责拆分,结构与 vLLM 主仓重构后的 NIXL connector 模式保持一致。
  2. 普通 Mooncake connector 与 layerwise Mooncake connector 的 metadata、handshake、send/recv 生命周期、KV block 选择、后台传输线程职责边界清晰。
  3. 现有 Mooncake PD disaggregated prefill/decode 场景功能不回退,layerwise 传输能力不回退。
  4. 保持现有配置入口和用户使用方式兼容,必要时补充迁移说明。
  5. 补齐或更新相关 UT/e2e,覆盖普通 Mooncake、layerwise Mooncake、scheduler metadata 构造、worker 传输、异常清理路径。
  6. 与主仓 NIXL connector 新接口对齐后,无 mypy/ruff/单测回归问题。

对接人

@jyoung6652

认领状态

待认领

建议的替代/修复方案

请根据任务描述提交实现、测试或文档 PR,并在 PR 中关联本 issue 与 #9079;如实现过程中发现任务边界、使用指导或现有行为存在不合理之处,请同步补充说明和最小复现。

欢迎加入社区,感谢您对社区的贡献 🎉!

Contributor guide