feat(eval): preset 增益量化基准——同任务集跑 minimal vs standard，产出 token/时延/成功率对照
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- rust
- Área
- ai-infra-agents, testing-qa
Línea de trabajo
Start by reviewing the minimal-preset rationale in packages/client/ui-agent-preset/src/client/locales.ts and the dependent issues #127 and #128. Then identify the existing evaluation and telemetry entry points before choosing where a repeatable harness belongs. Done means one command produces a minimal-versus-standard report and commits both the report and raw JSONL data, including token, latency, and success-rate comparisons.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
场景 gap 单（okguitar 提报）· 优先级 P2 · 依赖：depends-on: #127 · depends-on: #128 · 来源：jeffkit 拍板「需要 benchmark 对比升级增益的量化」
基线 HEAD = 4e1aee98。
Summary
- 决策背景：提示词打磨 / preset / 上下文机制升级的增益需要量化对照，不能只凭体感；
- 现状：无对照基准。可观测面（#110-#124：token/成本/时延/事件）落地后数据有来源，但缺「同任务集、多档位对照」的骨架；
- DSH 佐证：minimal 存在的官方理由就是"测试和对比其基础表现"（
packages/client/ui-agent-preset/src/client/locales.ts）——基线档与基准测试是配套设计。
建议
- 固定任务集（首版 8-15 条，覆盖五类各 2-3 条：单文件读改写 / 多文件搜索定位 / 多步工具链 / 长上下文触发压缩 / 失败恢复）；
- 每档（minimal / standard，后续扩展档位）跑全量：采集每任务的 input/output/cache_read token（若有 usage）、墙钟、turn 数、工具调用数、成功率与失败分类；
- 产出：markdown 对照表 + 原始 JSONL 入仓；一条命令可复跑；
- 定位为常设 harness：此后每次提示词/机制变更都出「前后对照」增量报告（替代体感评估）。
验收
- 一条命令产出对照报告（minimal vs standard 至少含：token 差倍数、时延差、成功率）；
- 报告与原始数据入仓、可复现（同配置重跑结果稳定或给出方差区间）；
- 至少固化 1 个决策用例：如「#110-#124 可观测能力上线前后对任务成功率/token 的影响」。
- Lenguaje dominante
- Rust
- Estrellas
- 4
- Forks
- 0
- Merge medio
- 5 h 32 min
- PR fusionados (30 d)
- 7
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de jeffkit/recursive
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
jeffkit/recursive#147 · 14 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
jeffkit/recursive#145 · 7 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
jeffkit/recursive#134 · 6 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de jeffkit/recursive
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
chroma-core/chroma#7879 ·
Los mantenedores suelen responder en 1 día
-
priority middle
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
KATO-Hiro/AtCoderClans#12838 ·
Los mantenedores suelen responder en 1 día
-
clap_complete env (PowerShell): values after a space don't complete in Windows PowerShell 5.1Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día