Validate the judge reward signal with human calibration and domain-specific evaluators
维护者通常 4 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 38/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- python
- 领域
- ai, machine-learning
调研方向
首先定位 SDK 当前的奖励设计、默认评判器和 learning-core 接口，然后阅读白皮书中描述意图、遵循度、完成度和重新加权的章节。在不改变 learning core 的情况下，支持有文档说明的校准工作流、可插拔评估器、按指标记录的原始 episode 值以及一份与人工评估相关性的示例报告后，这项工作就完成了。
由索引模型根据 Issue 内容生成。
描述
The analysis notes that the SDK’s reward model is conceptually clear but still evidence-light: the paper specifies intent, adherence, and completion judges, but does not show that those judges actually correlate with human judgment or domain success. That is a direct risk to the learning loop because reward misspecification can cause the learner to optimize the wrong behavior.
This ticket should turn the current reward design from a plausible architecture into a validated measurement layer.
Suggested scope
Add a reward validation study that measures judge-to-human agreement.
Add support for custom evaluators so teams can plug in domain-specific checks.
Document how to evaluate whether the default judge weights are appropriate for a given workload.
Persist raw per-metric values and make it easy to reweight historical episodes without re-running judges, which the whitepaper already points to as an advantage.
Acceptance criteria
A documented calibration workflow exists for the default judges.
The SDK supports pluggable evaluators without changing the learning core.
A sample report shows how judge scores correlate with human review or task-success outcomes.
- 主要语言
- Python
- 星标
- 12
- 派生
- 11
- 平均合并
- 2 天 5 小时
- 30 天内合并 PR
- 10
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
microsoft/agent-learning 的其他 Issue
-
难度 5/5 一周以上 新手友好度 30/100
microsoft/agent-learning#28 ·
维护者通常 4 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
microsoft/agent-learning#27 ·
维护者通常 4 天内回复
-
Investigate Native Integration with Microsoft Agent Framework可能已有人在做 @jkafrouni 于 26 天前认领。 未关闭
microsoft/agent-learning#26 · 2 条评论 · 已指派 1 人 ·
维护者通常 4 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
microsoft/agent-learning#25 ·
维护者通常 4 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
microsoft/agent-learning#24 ·
维护者通常 4 天内回复
查看 microsoft/agent-learning 的全部 Issue
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 76/100
lugassawan/swe-workbench#799 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
vllm-project/vllm#61131 ·
维护者通常 1 天内回复
-
Non-string form field names raise AttributeError when files are attached可能已有人在做 @nightcityblade 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
-
难度 2/5 1-3 小时 新手友好度 78/100
kubernetes-client/python#2735 ·
维护者通常 1 天内回复
-
desktop help wanted test
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复