Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

feat(eval): preset 增益量化基准——同任务集跑 minimal vs standard，产出 token/时延/成功率对照

Offen
  • Stimmt etwas nicht?
#129 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Anfängerfreundlichkeit
30/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
rust
Bereich
ai-infra-agents, testing-qa

Rechercherichtung

Start by reviewing the minimal-preset rationale in packages/client/ui-agent-preset/src/client/locales.ts and the dependent issues #127 and #128. Then identify the existing evaluation and telemetry entry points before choosing where a repeatable harness belongs. Done means one command produces a minimal-versus-standard report and commits both the report and raw JSONL data, including token, latency, and success-rate comparisons.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

场景 gap 单（okguitar 提报）· 优先级 P2 · 依赖：depends-on: #127 · depends-on: #128 · 来源：jeffkit 拍板「需要 benchmark 对比升级增益的量化」

基线 HEAD = 4e1aee98。

Summary

  • 决策背景：提示词打磨 / preset / 上下文机制升级的增益需要量化对照，不能只凭体感；
  • 现状：无对照基准。可观测面（#110-#124：token/成本/时延/事件）落地后数据有来源，但缺「同任务集、多档位对照」的骨架；
  • DSH 佐证：minimal 存在的官方理由就是"测试和对比其基础表现"（packages/client/ui-agent-preset/src/client/locales.ts）——基线档与基准测试是配套设计。

建议

  1. 固定任务集（首版 8-15 条，覆盖五类各 2-3 条：单文件读改写 / 多文件搜索定位 / 多步工具链 / 长上下文触发压缩 / 失败恢复）；
  2. 每档（minimal / standard，后续扩展档位）跑全量：采集每任务的 input/output/cache_read token（若有 usage）、墙钟、turn 数、工具调用数、成功率与失败分类；
  3. 产出：markdown 对照表 + 原始 JSONL 入仓；一条命令可复跑；
  4. 定位为常设 harness：此后每次提示词/机制变更都出「前后对照」增量报告（替代体感评估）。

验收

  • 一条命令产出对照报告（minimal vs standard 至少含：token 差倍数、时延差、成功率）；
  • 报告与原始数据入仓、可复现（同配置重跑结果稳定或给出方差区间）；
  • 至少固化 1 个决策用例：如「#110-#124 可观测能力上线前后对任务成功率/token 的影响」。
Vorherrschende Sprache
Rust
Sterne
4
Forks
0
Ø Merge
5 Std. 32 Min.
Gemergte PRs (30 T.)
7

Entwicklungsumgebung

  • Enthält ein Dockerfile oder eine Docker-Compose-Datei
  • Keine Pull-Request-Vorlage
  • Kein Beitragsleitfaden

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus jeffkit/recursive

Alle Issues in jeffkit/recursive

Ähnliche Issues

Weitere Issues zu Rust

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.