feat(eval): preset 增益量化基准——同任务集跑 minimal vs standard，产出 token/时延/成功率对照
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 30/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- rust
调研方向
Start by reviewing the minimal-preset rationale in packages/client/ui-agent-preset/src/client/locales.ts and the dependent issues #127 and #128. Then identify the existing evaluation and telemetry entry points before choosing where a repeatable harness belongs. Done means one command produces a minimal-versus-standard report and commits both the report and raw JSONL data, including token, latency, and success-rate comparisons.
由索引模型根据 Issue 内容生成。
描述
场景 gap 单（okguitar 提报）· 优先级 P2 · 依赖：depends-on: #127 · depends-on: #128 · 来源：jeffkit 拍板「需要 benchmark 对比升级增益的量化」
基线 HEAD = 4e1aee98。
Summary
- 决策背景：提示词打磨 / preset / 上下文机制升级的增益需要量化对照，不能只凭体感；
- 现状：无对照基准。可观测面（#110-#124：token/成本/时延/事件）落地后数据有来源，但缺「同任务集、多档位对照」的骨架；
- DSH 佐证：minimal 存在的官方理由就是"测试和对比其基础表现"（
packages/client/ui-agent-preset/src/client/locales.ts）——基线档与基准测试是配套设计。
建议
- 固定任务集（首版 8-15 条，覆盖五类各 2-3 条：单文件读改写 / 多文件搜索定位 / 多步工具链 / 长上下文触发压缩 / 失败恢复）；
- 每档（minimal / standard，后续扩展档位）跑全量：采集每任务的 input/output/cache_read token（若有 usage）、墙钟、turn 数、工具调用数、成功率与失败分类；
- 产出：markdown 对照表 + 原始 JSONL 入仓；一条命令可复跑；
- 定位为常设 harness：此后每次提示词/机制变更都出「前后对照」增量报告（替代体感评估）。
验收
- 一条命令产出对照报告（minimal vs standard 至少含：token 差倍数、时延差、成功率）；
- 报告与原始数据入仓、可复现（同配置重跑结果稳定或给出方差区间）；
- 至少固化 1 个决策用例：如「#110-#124 可观测能力上线前后对任务成功率/token 的影响」。
- 主要语言
- Rust
- 星标
- 4
- 派生
- 0
- 平均合并
- 5 小时 32 分钟
- 30 天内合并 PR
- 7
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
jeffkit/recursive 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 68/100
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 53/100
jeffkit/recursive#195 · 4 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 15/100
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 15/100
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 8/100
维护者通常 1 天内回复
查看 jeffkit/recursive 的全部 Issue
相似的 Issue
-
ai_p1 comp-message-queues
难度 2/5 1-3 小时 新手友好度 72/100
ClickHouse/ClickHouse#125890 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 66/100
storytold/photocraft#5710 ·
维护者通常 1 天内回复
-
Two tests fail on a Windows checkout: a CRLF parse in feature_walk_tests, an 8.3 TEMP path in libraries_tests可能已有人在做 @CamWight 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
bherbruck/solvecraft#1186 · 1 条评论 ·
-
area: screenshot audit bug good first issue priority: P3 security severity: info type: correctness
难度 2/5 1-3 小时 新手友好度 70/100
pierruno-labs/prowl#31 ·
-
难度 2/5 1-3 小时 新手友好度 70/100
limitlessprojects/Go-Hybrid#50 ·
维护者通常 1 天内回复