[Research] Harness² × RSI 融合实验:离散组合、协方差适应与长期记忆的消融验证

Abierto
#33 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
typescript

Línea de trabajo

Read docs/EVALUATION-METHODOLOGY.md and scripts/eval/README.md, then inspect packages/shared/src/evaluation/experiment-service.ts. Start by drafting a preregistered experiment design and equal-budget comparison matrix; the issue lists the required baselines, metrics, and reporting details. Done means publishing a replayable pilot package with failure analysis and clearly marked missing results.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

area:evaluation enhancement help wanted priority:later status:research type:research

状态:研究提案,尚未验证效果。阶段:R1 · Harness² × RSI Research。总路线:#8;当前能力:#9。

目标与价值

长期愿景是把可靠执行、个人记忆、任务内适配与跨任务改进连接成闭环。先用消融实验判断各模块的真实贡献,避免把多个术语相加当作效果证明。

验收标准

  • 比较 base、memory-only、Harness²-only、RSI-only、融合,以及离散/连续优化的增量版本
  • 固定任务分布、模型、工具权限、总预算和评测规则,记录实验配置与成本
  • 评估未见任务成功率、恢复率、来源质量、人工纠正次数、延迟与权限违规
  • 报告样本数、种子、置信区间和负结果;预先定义停止/回滚标准

验证方法

发布可回放实验包与失败分析;先运行小规模 pilot 再决定扩展,不承诺 AGI 或持续自主变强。

源码起点

以上是已有实现的阅读入口,不代表拟议能力已实现。

依赖与最小贡献

  • #17 — [Memory] Checkpoint × Memory 一致性:让恢复进度与记忆版本同步
  • #30 — [Research] 协方差矩阵适应:探索连续 Harness 参数的递归优化
  • #31 — [Research] Harness² 双层递归:任务内 Propose–Probe–Compose 与跨任务经验
  • #32 — [Research] 受控 RSI 外循环:候选生成、沙箱评测、审核晋升与回滚

先提交预注册实验设计和等预算矩阵,结果空缺要明确标注。

参考

Harness² v1、CMA-ES;融合架构为 Trail 自身的研究提案。

参与

认领前先说明拟完成的最小范围,再评论 /claim。提交 PR 时附真实环境、验证命令和结果;仅完成部分时请列出剩余项。贡献入口:#7。

Lenguaje dominante
TypeScript
Estrellas
206
Forks
37
Merge medio
7 h 8 min
PR fusionados (30 d)
8

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ydflow/Trail

Todos los issues de ydflow/Trail

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.