vllm-project/vllm-ascend

【众测任务】vLLM-Ascend 支持 Memcache 池化后端验证

Open

#11,756 opened on Jul 9, 2026

View on GitHub
 (1 comment) (0 reactions) (0 assignees)C++ (1,318 forks)github user discovery
help wanted

Repository metrics

Stars
 (2,180 stars)
PR merge metrics
 (Avg merge 4d 5h) (559 merged PRs in 30d)

Description

任务背景

本 Issue 由 vLLM-Ascend 众测任务书自动生成，用于跟踪单个众测任务的执行、交付和问题闭环。

基本信息

  • 分类：vllm
  • 任务名称：vLLM-Ascend支持Memcache池化后端
  • 任务类别：资料验证和部署测试
  • 镜像：quay.io/ascend/vllm-ascend:v0.18.0

https://docs.vllm.ai/projects/ascend/en/latest/user_guide/feature_guide/kv_pool.html

任务概述

在A2环境上部署Qwen3-32B量化模型，开启Memcache池化，并跑通精度测试

核心要求

任务范围：部署vllm、vllm-ascend，拉起Memcache池化+VLLM服务，使用aisbench进行模型精度验证。 精度与基线误差1%以内，精度达标。

验收标准

交付件 测试报告 交付标准 完成模型功能验证，精度验证

测试方法

（1）进入容器 （2）安装版本配套 （3）安装memcache_hybrid （4）启动MetaService 服务 （5）拉起vLLM-Ascend服务 （6）配置aisbench （7）aisbench发起精度测试

已知问题和补充说明

memcache_hybrid无单独安装包，并且依赖cann，当前cann版本8.5.1不包含memcache_hybird

交付要求

请在 Issue 中同步以下内容：

  • 部署脚本或关键命令
  • 功能/性能/精度验证结果日志或截图
  • 遇到的问题、规避方案与最终结论
  • 如发现社区文档问题，请给出文档链接、问题描述和建议修正内容

Contributor guide

Research direction
Follow the test method steps: deploy vllm and vllm ascend, start Memcache pool service, run aisbench for accuracy validation. Pay attention to the memcache hybrid dependency and ensure it is installed correctly from the provided image.
Tech stack
pythoncpp
Domain
backendai
Issue type
Test
DifficultyEstimated implementation difficulty for a new contributor, from 1 for very small changes to 5 for expert-level work.
3
Estimated timeA rough time range for an experienced contributor to investigate, implement, test, and prepare a pull request.
Half day
Activity statusHow available the issue appears right now: fresh, active, stale, blocked, or waiting on maintainer input.
Active
ClarityHow clearly the issue explains the expected change, acceptance criteria, and next step.
Mostly clear
Prerequisites
DockerAscend environment
Newbie friendlinessA 1-100 score estimating how approachable this issue is for first-time contributors.
40