MiniCPM5-2B 在规则密集任务上产生循环思考的现象 (21/81例)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
The report concerns MiniCPM5-2B in thinking mode on vLLM-Ascend with an Ascend 910B4, but names no repository files or tests. First read the issue and the linked discussion in #374 for context on the repeat-penalty recommendation; the report asks for internal evaluation results and verified mitigation and INT8 configuration guidance, so completion would require maintainers to provide evidence-based answers.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
描述
我们在一个多轮对话任务集上批量测试了 MiniCPM5-2B (bf16,开思考), 每个任务要求模型输出一个工具调用 JSON. 然而有 21/81 用例卡在思考循环直至达到 --max_tokens=8192, 下面简要描述失败案例, 并想请教这是否有推荐缓解措施.
测试环境
- 引擎:昇腾 910B4, vLLM-Ascend
- 采样:
--temp=1.0, --top_p=0.95(文档推荐), 思考模式 --max_tokens=8192, 每个任务跑一次, 共 81 个任务
解释
卡住用例模式大致分两种:
- 模式 A. 一句话原样复读(极端情况), 即模型重复引用系统提示里的某条规则直到被截断:
- 等等,规则7说:"缺失回复按参数数组顺序覆盖全部客户缺失 key,并带上
description 明示的必要格式、单位或可选值;不得询问已锁定项和系统待处理项。"- 等等,规则7说:"……"
- 模式 B. 逻辑循环 (更常见), 即模型生成答案 → 怀疑 → 重新推导 → 生成答案. 在约 5 到 49 句之间循环,重复 4 到 77 次:
所以输出应该是:
{"name":"set_config","arguments":{"额定功率":58.504,"额定电量":38.267}}
等等,规则里说"value 是唯一非空标量时表示该 key 已锁定"。所以这些 key 还没锁定,
需要输出 set_config。等等,规则又说"必须从参数数组第一项扫描到最后一项……"
(如此循环往复)
常见的触发条件是规则多且互相牵扯的提示词 (我们的系统提示规定了冲突参数、缺失参数分别怎么处理,哪条规则优先等), 多轮历史时更容易出现. 卡住用例每次耗时 300~333 秒, 正常用例远低于这个时间.
请问
- 是否你们内部有在 Agent 类或规则密集任务上, 评估过模型出现"思考不收敛"现象的占比, 这将有助于我们评估模型部署相关风险
- 除了对参数
--repeat-penalty的设置 (我们有看到 #374 里你们对非量化权重的推荐值 1.05), 是否有其他验证过有效的缓解方法? - 我们还准备在同一套服务栈上部署 MiniCPM5-2B 的 INT8 (W8A8) 模型, 不知道你们对于量化权重有没有推荐的配置策略?
- Lingua principale
- Jupyter Notebook
- Stelle
- 11.7k
- Fork
- 811
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenBMB/MiniCPM
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
-
feature
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100
Tutte le issue di OpenBMB/MiniCPM
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Arekkazu/sgpmp-backend#744 ·
I maintainer di solito rispondono entro 1 giorno
-
regression skipped skipped_bmg
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
intel/torch-xpu-ops#5858 ·
I maintainer di solito rispondono entro 2 giorni
-
difficulty: medium enhancement help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ScrollPrize/villa#2299 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100