vllm-project/vllm-ascend

【众测任务】vLLM-Ascend 支持 Memcache 池化后端验证

Ouverte

#11 756 ouverte le 9 juil. 2026

Voir sur GitHubGuide contributeur
 (1 commentaire) (0 réaction) (0 personne assignée)C++ (1 318 forks)github user discovery
help wanted

Métriques du dépôt

Stars
 (2 180 étoiles)
Métriques de merge PR
 (Merge moyen 4j 5h) (559 PRs mergées en 30 j)

Description

任务背景

本 Issue 由 vLLM-Ascend 众测任务书自动生成，用于跟踪单个众测任务的执行、交付和问题闭环。

基本信息

  • 分类：vllm
  • 任务名称：vLLM-Ascend支持Memcache池化后端
  • 任务类别：资料验证和部署测试
  • 镜像：quay.io/ascend/vllm-ascend:v0.18.0

https://docs.vllm.ai/projects/ascend/en/latest/user_guide/feature_guide/kv_pool.html

任务概述

在A2环境上部署Qwen3-32B量化模型，开启Memcache池化，并跑通精度测试

核心要求

任务范围：部署vllm、vllm-ascend，拉起Memcache池化+VLLM服务，使用aisbench进行模型精度验证。 精度与基线误差1%以内，精度达标。

验收标准

交付件 测试报告 交付标准 完成模型功能验证，精度验证

测试方法

（1）进入容器 （2）安装版本配套 （3）安装memcache_hybrid （4）启动MetaService 服务 （5）拉起vLLM-Ascend服务 （6）配置aisbench （7）aisbench发起精度测试

已知问题和补充说明

memcache_hybrid无单独安装包，并且依赖cann，当前cann版本8.5.1不包含memcache_hybird

交付要求

请在 Issue 中同步以下内容：

  • 部署脚本或关键命令
  • 功能/性能/精度验证结果日志或截图
  • 遇到的问题、规避方案与最终结论
  • 如发现社区文档问题，请给出文档链接、问题描述和建议修正内容

Guide contributeur

Direction de recherche
Suivez les étapes de la méthode de test : déployez vllm et vllm ascend, démarrez le service de pool Memcache, exécutez aisbench pour la validation de la précision. Faites attention à la dépendance memcache hybrid et assurez vous qu'elle est correctement installée à partir de l'image fournie.
Stack technique
pythoncpp
Domaine
backendai
Type d'issue
Test
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
DockerAscend environment
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40