MiniCPM5-2B 在规则密集任务上产生循环思考的现象 (21/81例)
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- python
调研方向
The report concerns MiniCPM5-2B in thinking mode on vLLM-Ascend with an Ascend 910B4, but names no repository files or tests. First read the issue and the linked discussion in #374 for context on the repeat-penalty recommendation; the report asks for internal evaluation results and verified mitigation and INT8 configuration guidance, so completion would require maintainers to provide evidence-based answers.
由索引模型根据 Issue 内容生成。
描述
描述
我们在一个多轮对话任务集上批量测试了 MiniCPM5-2B (bf16,开思考), 每个任务要求模型输出一个工具调用 JSON. 然而有 21/81 用例卡在思考循环直至达到 --max_tokens=8192, 下面简要描述失败案例, 并想请教这是否有推荐缓解措施.
测试环境
- 引擎:昇腾 910B4, vLLM-Ascend
- 采样:
--temp=1.0, --top_p=0.95(文档推荐), 思考模式 --max_tokens=8192, 每个任务跑一次, 共 81 个任务
解释
卡住用例模式大致分两种:
- 模式 A. 一句话原样复读(极端情况), 即模型重复引用系统提示里的某条规则直到被截断:
- 等等,规则7说:"缺失回复按参数数组顺序覆盖全部客户缺失 key,并带上
description 明示的必要格式、单位或可选值;不得询问已锁定项和系统待处理项。"- 等等,规则7说:"……"
- 模式 B. 逻辑循环 (更常见), 即模型生成答案 → 怀疑 → 重新推导 → 生成答案. 在约 5 到 49 句之间循环,重复 4 到 77 次:
所以输出应该是:
{"name":"set_config","arguments":{"额定功率":58.504,"额定电量":38.267}}
等等,规则里说"value 是唯一非空标量时表示该 key 已锁定"。所以这些 key 还没锁定,
需要输出 set_config。等等,规则又说"必须从参数数组第一项扫描到最后一项……"
(如此循环往复)
常见的触发条件是规则多且互相牵扯的提示词 (我们的系统提示规定了冲突参数、缺失参数分别怎么处理,哪条规则优先等), 多轮历史时更容易出现. 卡住用例每次耗时 300~333 秒, 正常用例远低于这个时间.
请问
- 是否你们内部有在 Agent 类或规则密集任务上, 评估过模型出现"思考不收敛"现象的占比, 这将有助于我们评估模型部署相关风险
- 除了对参数
--repeat-penalty的设置 (我们有看到 #374 里你们对非量化权重的推荐值 1.05), 是否有其他验证过有效的缓解方法? - 我们还准备在同一套服务栈上部署 MiniCPM5-2B 的 INT8 (W8A8) 模型, 不知道你们对于量化权重有没有推荐的配置策略?
- 主要语言
- Jupyter Notebook
- 星标
- 11.7k
- 派生
- 811
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenBMB/MiniCPM 的其他 Issue
-
难度 1/5 1 小时以内 新手友好度 78/100
-
难度 5/5 一周以上 新手友好度 15/100
-
难度 3/5 1-2 天 新手友好度 55/100
-
feature
难度 4/5 3-5 天 新手友好度 35/100
-
难度 3/5 1-2 天 新手友好度 62/100
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 68/100
Arekkazu/sgpmp-backend#744 ·
维护者通常 1 天内回复
-
regression skipped skipped_bmg
难度 2/5 1-3 小时 新手友好度 67/100
intel/torch-xpu-ops#5858 ·
维护者通常 2 天内回复
-
difficulty: medium enhancement help wanted
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
ScrollPrize/villa#2299 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100