[Research] 离散组合评分:评估 Skill × Tool × Workflow × Model 的协同配置
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 24/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- typescript
- Ambito
- ai-infra-agents
Direzione di ricerca
Read the dependency issue #28 first, then inspect packages/shared/src/evaluation/experiment-service.ts, the evaluators directory, and packages/pi-extension/src/index.ts to understand existing evaluation entry points. The proposal calls for offline combination manifests and scoring reports, with equal-budget comparisons and held-out data excluded from candidate generation. Done means reporting each metric, candidate rankings, failure cases, uncertainty, and Pareto tradeoffs, with small-scale exhaustive checks of ranking correctness.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
状态:研究提案,尚未验证效果。阶段:R1 · Harness² × RSI Research。总路线:#8;当前能力:#9。
目标与价值
将离散组件组合成候选 harness,衡量组合是否在个人任务上有效。这里的组合是执行配置,不是证券资产组合;优先验证评分可信度。
验收标准
- 定义可用组件、兼容约束、权限约束与组合去重规则
- 分别报告任务正确性、来源质量、恢复率、成本、延迟和权限违规,不能靠单分掩盖风险
- 比较固定组合、随机搜索与受约束离散搜索,控制相同预算
- 输出候选排名、失败案例与不确定性,留出集不参与候选生成
验证方法
固定数据版本/种子,多次重复并记录 Pareto 权衡;小规模穷举校验排序算法正确性。
源码起点
- packages/shared/src/evaluation/experiment-service.ts
- packages/shared/src/evaluation/evaluators
- packages/pi-extension/src/index.ts
以上是已有实现的阅读入口,不代表拟议能力已实现。
依赖与最小贡献
- #28 — [Research] 版本化任务轨迹与隔离评测集:为自我改进建立证据基座
先实现离线组合清单与评分报告,不自动切换用户运行配置。
参与
认领前先说明拟完成的最小范围,再评论 /claim。提交 PR 时附真实环境、验证命令和结果;仅完成部分时请列出剩余项。贡献入口:#7。
- Lingua principale
- TypeScript
- Stelle
- 206
- Fork
- 37
- Merge medio
- 7h 8m
- PR unite (30g)
- 8
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ydflow/Trail
-
area:desktop bug good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
[Bug] 诊断页提示 Pi 运行时重启失败Apertaarea:desktop bug help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
area:desktop enhancement good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
[Bug] 来源检查器显示行情时点和延时标记Apertaarea:desktop bug help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
area:evaluation bug good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
Tutte le issue di ydflow/Trail
Issue simili
-
[Docs] CONTRIBUTING points the Backend Remake milestone at a branch that does not existForse già presa @franpts2 l’ha presa oggi. Apertadocs
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
ever-co/ever-teams#5741 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
melgarafael/DeskcommCRM#5142 ·
I maintainer di solito rispondono entro 1 giorno
-
Web mention picker gives same-name bots and routines or connectors identical accessible namesApertabug size:medium
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno