Validate the judge reward signal with human calibration and domain-specific evaluators
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 38/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- python
- 領域
- ai, machine-learning
調査の方向性
まず SDK の現在の報酬設計、デフォルトのジャッジ、learning-core のインターフェースを特定し、次に意図、遵守、完了、再重み付けについて説明している whitepaper のセクションを読みます。learning core を変更せずに、文書化されたキャリブレーションワークフロー、プラグ可能な評価器、メトリクスごとのエピソードの生の値、および人間による評価との相関レポートのサンプルがサポートされれば、作業は完了です。
索引モデルが issue の本文から書いたものです。
説明
The analysis notes that the SDK’s reward model is conceptually clear but still evidence-light: the paper specifies intent, adherence, and completion judges, but does not show that those judges actually correlate with human judgment or domain success. That is a direct risk to the learning loop because reward misspecification can cause the learner to optimize the wrong behavior.
This ticket should turn the current reward design from a plausible architecture into a validated measurement layer.
Suggested scope
Add a reward validation study that measures judge-to-human agreement.
Add support for custom evaluators so teams can plug in domain-specific checks.
Document how to evaluate whether the default judge weights are appropriate for a given workload.
Persist raw per-metric values and make it easy to reweight historical episodes without re-running judges, which the whitepaper already points to as an advantage.
Acceptance criteria
A documented calibration workflow exists for the default judges.
The SDK supports pluggable evaluators without changing the learning core.
A sample report shows how judge scores correlate with human review or task-success outcomes.
- 主要言語
- Python
- スター
- 10
- フォーク
- 9
- 平均マージ
- 1日 19時間
- マージ済み PR（30日）
- 4
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/agent-learning のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
microsoft/agent-learning#28 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
microsoft/agent-learning#27 ·
-
microsoft/agent-learning#26 · コメント 2 件 · 担当者 1 名 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
microsoft/agent-learning#25 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
microsoft/agent-learning#24 ·
microsoft/agent-learning の issue をすべて見る
似ている issue
-
area: harness bug status: needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Human-Agent-Society/reef#625 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 80/100
learningequality/kolibri#15351 · コメント 2 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
Name consistency オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
eellak/triplestore#65 · コメント 1 件 ·