MiniCPM5-2B 在规则密集任务上产生循环思考的现象 (21/81例)
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
The report concerns MiniCPM5-2B in thinking mode on vLLM-Ascend with an Ascend 910B4, but names no repository files or tests. First read the issue and the linked discussion in #374 for context on the repeat-penalty recommendation; the report asks for internal evaluation results and verified mitigation and INT8 configuration guidance, so completion would require maintainers to provide evidence-based answers.
索引モデルが issue の本文から書いたものです。
説明
描述
我们在一个多轮对话任务集上批量测试了 MiniCPM5-2B (bf16,开思考), 每个任务要求模型输出一个工具调用 JSON. 然而有 21/81 用例卡在思考循环直至达到 --max_tokens=8192, 下面简要描述失败案例, 并想请教这是否有推荐缓解措施.
测试环境
- 引擎:昇腾 910B4, vLLM-Ascend
- 采样:
--temp=1.0, --top_p=0.95(文档推荐), 思考模式 --max_tokens=8192, 每个任务跑一次, 共 81 个任务
解释
卡住用例模式大致分两种:
- 模式 A. 一句话原样复读(极端情况), 即模型重复引用系统提示里的某条规则直到被截断:
- 等等,规则7说:"缺失回复按参数数组顺序覆盖全部客户缺失 key,并带上
description 明示的必要格式、单位或可选值;不得询问已锁定项和系统待处理项。"- 等等,规则7说:"……"
- 模式 B. 逻辑循环 (更常见), 即模型生成答案 → 怀疑 → 重新推导 → 生成答案. 在约 5 到 49 句之间循环,重复 4 到 77 次:
所以输出应该是:
{"name":"set_config","arguments":{"额定功率":58.504,"额定电量":38.267}}
等等,规则里说"value 是唯一非空标量时表示该 key 已锁定"。所以这些 key 还没锁定,
需要输出 set_config。等等,规则又说"必须从参数数组第一项扫描到最后一项……"
(如此循环往复)
常见的触发条件是规则多且互相牵扯的提示词 (我们的系统提示规定了冲突参数、缺失参数分别怎么处理,哪条规则优先等), 多轮历史时更容易出现. 卡住用例每次耗时 300~333 秒, 正常用例远低于这个时间.
请问
- 是否你们内部有在 Agent 类或规则密集任务上, 评估过模型出现"思考不收敛"现象的占比, 这将有助于我们评估模型部署相关风险
- 除了对参数
--repeat-penalty的设置 (我们有看到 #374 里你们对非量化权重的推荐值 1.05), 是否有其他验证过有效的缓解方法? - 我们还准备在同一套服务栈上部署 MiniCPM5-2B 的 INT8 (W8A8) 模型, 不知道你们对于量化权重有没有推荐的配置策略?
- 主要言語
- Jupyter Notebook
- スター
- 11.7k
- フォーク
- 811
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenBMB/MiniCPM のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
-
feature
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 62/100
OpenBMB/MiniCPM の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
Arekkazu/sgpmp-backend#744 ·
メンテナーはふだん 1 日以内に返信
-
regression skipped skipped_bmg
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
intel/torch-xpu-ops#5858 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ScrollPrize/villa#2299 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
Latest releases still admits papers whose headline contribution is an agent対応中かも @rudycelekli が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
ktwu01/benchmark-radar#961 ·
メンテナーはふだん 1 日以内に返信