[Research] 离散组合评分:评估 Skill × Tool × Workflow × Model 的协同配置
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 24/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- typescript
- Área
- ai-infra-agents
Línea de trabajo
Read the dependency issue #28 first, then inspect packages/shared/src/evaluation/experiment-service.ts, the evaluators directory, and packages/pi-extension/src/index.ts to understand existing evaluation entry points. The proposal calls for offline combination manifests and scoring reports, with equal-budget comparisons and held-out data excluded from candidate generation. Done means reporting each metric, candidate rankings, failure cases, uncertainty, and Pareto tradeoffs, with small-scale exhaustive checks of ranking correctness.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
状态:研究提案,尚未验证效果。阶段:R1 · Harness² × RSI Research。总路线:#8;当前能力:#9。
目标与价值
将离散组件组合成候选 harness,衡量组合是否在个人任务上有效。这里的组合是执行配置,不是证券资产组合;优先验证评分可信度。
验收标准
- 定义可用组件、兼容约束、权限约束与组合去重规则
- 分别报告任务正确性、来源质量、恢复率、成本、延迟和权限违规,不能靠单分掩盖风险
- 比较固定组合、随机搜索与受约束离散搜索,控制相同预算
- 输出候选排名、失败案例与不确定性,留出集不参与候选生成
验证方法
固定数据版本/种子,多次重复并记录 Pareto 权衡;小规模穷举校验排序算法正确性。
源码起点
- packages/shared/src/evaluation/experiment-service.ts
- packages/shared/src/evaluation/evaluators
- packages/pi-extension/src/index.ts
以上是已有实现的阅读入口,不代表拟议能力已实现。
依赖与最小贡献
- #28 — [Research] 版本化任务轨迹与隔离评测集:为自我改进建立证据基座
先实现离线组合清单与评分报告,不自动切换用户运行配置。
参与
认领前先说明拟完成的最小范围,再评论 /claim。提交 PR 时附真实环境、验证命令和结果;仅完成部分时请列出剩余项。贡献入口:#7。
- Lenguaje dominante
- TypeScript
- Estrellas
- 206
- Forks
- 37
- Merge medio
- 7 h 8 min
- PR fusionados (30 d)
- 8
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ydflow/Trail
-
area:desktop bug good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
[Bug] 诊断页提示 Pi 运行时重启失败Abiertoarea:desktop bug help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
[Good first issue] 从来源检查器打开新闻原文Abiertoarea:desktop enhancement good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
[Bug] 来源检查器显示行情时点和延时标记Abiertoarea:desktop bug help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
area:evaluation bug good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Todos los issues de ydflow/Trail
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Update project links after the repository renamesPosiblemente ocupada @JonathanTSilva la tomó hoy. Abiertoai-generated priority: p2 size: xs type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
JonathanTSilva/jts-website#119 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
promplate/code-review#158 · 1 comentario · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
[Docs] CONTRIBUTING points the Backend Remake milestone at a branch that does not existPosiblemente ocupada @franpts2 la tomó hoy. Abiertodocs
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 3 días