MiniCPM5-2B 在规则密集任务上产生循环思考的现象 (21/81例)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
The report concerns MiniCPM5-2B in thinking mode on vLLM-Ascend with an Ascend 910B4, but names no repository files or tests. First read the issue and the linked discussion in #374 for context on the repeat-penalty recommendation; the report asks for internal evaluation results and verified mitigation and INT8 configuration guidance, so completion would require maintainers to provide evidence-based answers.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
描述
我们在一个多轮对话任务集上批量测试了 MiniCPM5-2B (bf16,开思考), 每个任务要求模型输出一个工具调用 JSON. 然而有 21/81 用例卡在思考循环直至达到 --max_tokens=8192, 下面简要描述失败案例, 并想请教这是否有推荐缓解措施.
测试环境
- 引擎:昇腾 910B4, vLLM-Ascend
- 采样:
--temp=1.0, --top_p=0.95(文档推荐), 思考模式 --max_tokens=8192, 每个任务跑一次, 共 81 个任务
解释
卡住用例模式大致分两种:
- 模式 A. 一句话原样复读(极端情况), 即模型重复引用系统提示里的某条规则直到被截断:
- 等等,规则7说:"缺失回复按参数数组顺序覆盖全部客户缺失 key,并带上
description 明示的必要格式、单位或可选值;不得询问已锁定项和系统待处理项。"- 等等,规则7说:"……"
- 模式 B. 逻辑循环 (更常见), 即模型生成答案 → 怀疑 → 重新推导 → 生成答案. 在约 5 到 49 句之间循环,重复 4 到 77 次:
所以输出应该是:
{"name":"set_config","arguments":{"额定功率":58.504,"额定电量":38.267}}
等等,规则里说"value 是唯一非空标量时表示该 key 已锁定"。所以这些 key 还没锁定,
需要输出 set_config。等等,规则又说"必须从参数数组第一项扫描到最后一项……"
(如此循环往复)
常见的触发条件是规则多且互相牵扯的提示词 (我们的系统提示规定了冲突参数、缺失参数分别怎么处理,哪条规则优先等), 多轮历史时更容易出现. 卡住用例每次耗时 300~333 秒, 正常用例远低于这个时间.
请问
- 是否你们内部有在 Agent 类或规则密集任务上, 评估过模型出现"思考不收敛"现象的占比, 这将有助于我们评估模型部署相关风险
- 除了对参数
--repeat-penalty的设置 (我们有看到 #374 里你们对非量化权重的推荐值 1.05), 是否有其他验证过有效的缓解方法? - 我们还准备在同一套服务栈上部署 MiniCPM5-2B 的 INT8 (W8A8) 模型, 不知道你们对于量化权重有没有推荐的配置策略?
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 11.7k
- Forks
- 811
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenBMB/MiniCPM
-
Verify evals on Papers with CodeAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
-
Permission request: non-commercial research mirror of tokenized UltraData sets (SHADOW-125M)Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
-
feature
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 62/100
Todos los issues de OpenBMB/MiniCPM
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Arekkazu/sgpmp-backend#744 ·
Los mantenedores suelen responder en 1 día
-
enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
selimfirat/pysad#426 ·
Los mantenedores suelen responder en 1 día
-
regression skipped skipped_bmg
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
intel/torch-xpu-ops#5858 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
sbi-dev/sbi#2091 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
difficulty: medium enhancement help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día