[Research] 离散组合评分:评估 Skill × Tool × Workflow × Model 的协同配置

Abierto
#29 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
24/100
Tipo de issue
Nueva funcionalidad
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
typescript

Línea de trabajo

Read the dependency issue #28 first, then inspect packages/shared/src/evaluation/experiment-service.ts, the evaluators directory, and packages/pi-extension/src/index.ts to understand existing evaluation entry points. The proposal calls for offline combination manifests and scoring reports, with equal-budget comparisons and held-out data excluded from candidate generation. Done means reporting each metric, candidate rankings, failure cases, uncertainty, and Pareto tradeoffs, with small-scale exhaustive checks of ranking correctness.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

area:harness enhancement help wanted priority:later status:research type:research

状态:研究提案,尚未验证效果。阶段:R1 · Harness² × RSI Research。总路线:#8;当前能力:#9。

目标与价值

将离散组件组合成候选 harness,衡量组合是否在个人任务上有效。这里的组合是执行配置,不是证券资产组合;优先验证评分可信度。

验收标准

  • 定义可用组件、兼容约束、权限约束与组合去重规则
  • 分别报告任务正确性、来源质量、恢复率、成本、延迟和权限违规,不能靠单分掩盖风险
  • 比较固定组合、随机搜索与受约束离散搜索,控制相同预算
  • 输出候选排名、失败案例与不确定性,留出集不参与候选生成

验证方法

固定数据版本/种子,多次重复并记录 Pareto 权衡;小规模穷举校验排序算法正确性。

源码起点

以上是已有实现的阅读入口,不代表拟议能力已实现。

依赖与最小贡献

  • #28 — [Research] 版本化任务轨迹与隔离评测集:为自我改进建立证据基座

先实现离线组合清单与评分报告,不自动切换用户运行配置。

参与

认领前先说明拟完成的最小范围,再评论 /claim。提交 PR 时附真实环境、验证命令和结果;仅完成部分时请列出剩余项。贡献入口:#7。

Lenguaje dominante
TypeScript
Estrellas
206
Forks
37
Merge medio
7 h 8 min
PR fusionados (30 d)
8

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ydflow/Trail

Todos los issues de ydflow/Trail

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.