[Research] 离散组合评分:评估 Skill × Tool × Workflow × Model 的协同配置

Aperta
#29 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
24/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
typescript

Direzione di ricerca

Read the dependency issue #28 first, then inspect packages/shared/src/evaluation/experiment-service.ts, the evaluators directory, and packages/pi-extension/src/index.ts to understand existing evaluation entry points. The proposal calls for offline combination manifests and scoring reports, with equal-budget comparisons and held-out data excluded from candidate generation. Done means reporting each metric, candidate rankings, failure cases, uncertainty, and Pareto tradeoffs, with small-scale exhaustive checks of ranking correctness.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

area:harness enhancement help wanted priority:later status:research type:research

状态:研究提案,尚未验证效果。阶段:R1 · Harness² × RSI Research。总路线:#8;当前能力:#9。

目标与价值

将离散组件组合成候选 harness,衡量组合是否在个人任务上有效。这里的组合是执行配置,不是证券资产组合;优先验证评分可信度。

验收标准

  • 定义可用组件、兼容约束、权限约束与组合去重规则
  • 分别报告任务正确性、来源质量、恢复率、成本、延迟和权限违规,不能靠单分掩盖风险
  • 比较固定组合、随机搜索与受约束离散搜索,控制相同预算
  • 输出候选排名、失败案例与不确定性,留出集不参与候选生成

验证方法

固定数据版本/种子,多次重复并记录 Pareto 权衡;小规模穷举校验排序算法正确性。

源码起点

以上是已有实现的阅读入口,不代表拟议能力已实现。

依赖与最小贡献

  • #28 — [Research] 版本化任务轨迹与隔离评测集:为自我改进建立证据基座

先实现离线组合清单与评分报告,不自动切换用户运行配置。

参与

认领前先说明拟完成的最小范围,再评论 /claim。提交 PR 时附真实环境、验证命令和结果;仅完成部分时请列出剩余项。贡献入口:#7。

Lingua principale
TypeScript
Stelle
206
Fork
37
Merge medio
7h 8m
PR unite (30g)
8

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ydflow/Trail

Tutte le issue di ydflow/Trail

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.