feat(eval): preset 增益量化基准——同任务集跑 minimal vs standard，产出 token/时延/成功率对照
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 30/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- rust
調査の方向性
Start by reviewing the minimal-preset rationale in packages/client/ui-agent-preset/src/client/locales.ts and the dependent issues #127 and #128. Then identify the existing evaluation and telemetry entry points before choosing where a repeatable harness belongs. Done means one command produces a minimal-versus-standard report and commits both the report and raw JSONL data, including token, latency, and success-rate comparisons.
索引モデルが issue の本文から書いたものです。
説明
场景 gap 单（okguitar 提报）· 优先级 P2 · 依赖：depends-on: #127 · depends-on: #128 · 来源：jeffkit 拍板「需要 benchmark 对比升级增益的量化」
基线 HEAD = 4e1aee98。
Summary
- 决策背景：提示词打磨 / preset / 上下文机制升级的增益需要量化对照，不能只凭体感；
- 现状：无对照基准。可观测面（#110-#124：token/成本/时延/事件）落地后数据有来源，但缺「同任务集、多档位对照」的骨架；
- DSH 佐证：minimal 存在的官方理由就是"测试和对比其基础表现"（
packages/client/ui-agent-preset/src/client/locales.ts）——基线档与基准测试是配套设计。
建议
- 固定任务集（首版 8-15 条，覆盖五类各 2-3 条：单文件读改写 / 多文件搜索定位 / 多步工具链 / 长上下文触发压缩 / 失败恢复）；
- 每档（minimal / standard，后续扩展档位）跑全量：采集每任务的 input/output/cache_read token（若有 usage）、墙钟、turn 数、工具调用数、成功率与失败分类；
- 产出：markdown 对照表 + 原始 JSONL 入仓；一条命令可复跑；
- 定位为常设 harness：此后每次提示词/机制变更都出「前后对照」增量报告（替代体感评估）。
验收
- 一条命令产出对照报告（minimal vs standard 至少含：token 差倍数、时延差、成功率）；
- 报告与原始数据入仓、可复现（同配置重跑结果稳定或给出方差区间）；
- 至少固化 1 个决策用例：如「#110-#124 可观测能力上线前后对任务成功率/token 的影响」。
- 主要言語
- Rust
- スター
- 4
- フォーク
- 0
- 平均マージ
- 5時間 32分
- マージ済み PR（30日）
- 7
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
jeffkit/recursive のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
jeffkit/recursive#134 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
jeffkit/recursive#132 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
jeffkit/recursive#88 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 58/100
jeffkit/recursive#87 · コメント 11 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
jeffkit/recursive#86 · コメント 6 件 ·
メンテナーはふだん 1 日以内に返信
jeffkit/recursive の issue をすべて見る
似ている issue
-
agent:triaged bug bughunt pm:npm priority:p1
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
SocketDev/socket-patch#1127 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
documentation enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
adorsys/status-list-server#619 ·
メンテナーはふだん 2 日以内に返信
-
batch-backport only backports the first 30 matching PRs対応中かも @DvirDukhan が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 5 日以内に返信
-
Configuration-level resource: `Allocate` rejects the kubelet's re-offer of the same device for a later container of the same Pod ("Unable to claim slot")対応中かも @fang80913 が 38 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
project-akri/akri#854 ·