[Research] 版本化任务轨迹与隔离评测集:为自我改进建立证据基座

オープン
#28 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
35/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
活発
技術スタック
typescript

調査の方向性

Read packages/shared/src/evaluation/experiment-service.ts, packages/shared/src/evaluation/redactor.ts, and scripts/eval/README.md to understand the existing evaluation and redaction entry points; the proposal says these are reading references, not implemented capabilities. Start with the proposed minimum contribution: synthetic redacted tasks and replayable tool fixtures, while checking the dependency on issue #14. Done means fixtures can be replayed offline and the isolation, redaction, and baseline requirements are addressed.

索引モデルが issue の本文から書いたものです。

説明

area:evaluation enhancement help wanted priority:later status:research type:research

状态:研究提案,尚未验证效果。阶段:R1 · Harness² × RSI Research。总路线:#8;当前能力:#9。

目标与价值

自我改进必须能区分真正泛化和记住测试答案。先建立合法、可脱敏、可回放的数据与实验协议。

验收标准

  • 定义任务、轨迹、工具夹具、记忆版本、模型/runtime/config 与预算清单
  • 按时间/任务族隔离训练、开发和留出测试,避免相似案例泄漏
  • 导出前去凭证/个人正文;真实用户数据必须另行明确授权
  • 基线覆盖成功、失败、恢复、权限与预算,报告方差和样本规模

验证方法

同版本离线夹具可复跑;对非确定模型记录重复次数与差异;加入泄漏检测和脱敏检查。

源码起点

以上是已有实现的阅读入口,不代表拟议能力已实现。

依赖与最小贡献

  • #14 — [Testing] Durable 任务故障注入与恢复一致性测试矩阵

先贡献一组脱敏合成任务和可回放工具夹具。

参与

认领前先说明拟完成的最小范围,再评论 /claim。提交 PR 时附真实环境、验证命令和结果;仅完成部分时请列出剩余项。贡献入口:#7。

主要言語
TypeScript
スター
206
フォーク
37
平均マージ
7時間 8分
マージ済み PR(30日)
8

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

ydflow/Trail のほかの issue

ydflow/Trail の issue をすべて見る

似ている issue

TypeScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。