feat: add routing-focused eval support
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
現在のケーススキーマとエージェントアダプターのインターフェースを確認することから始め、ケースがどのようにモデル化されているか、またトリガーされた、またはロードされた Skills が公開されているかを確認します。提案された routing_expect フィールドを比較し、スキップまたはサポートされていない結果に何が必要かを判断します。実装できるほどスコープとアダプターのサポートが明確になれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Motivation
skill-up is good at evaluating whether an Agent completes a task correctly once a Skill is installed. For Skill development, another important question is whether the Skill should be triggered for a prompt at all.
Routing behavior matters because:
- a Skill should trigger for intended prompts
- it should not trigger for unrelated prompts
- in multi-Skill environments, one Skill should not over-trigger or shadow another Skill
Proposed capability
A routing case could look like this:
id: route-code-review-positive
tag: routing
input:
prompt: "Review this pull request and identify risks"
routing_expect:
must_include: [code-review]
allow_extra: false
max_skills: 1
A negative case could look like this:
id: route-code-review-negative
tag: routing
input:
prompt: "Write a poem about winter"
routing_expect:
must_not_include: [code-review]
Possible semantics:
must_include: expected Skill names must be selected or loadedmust_not_include: listed Skills must not be selected or loadedallow_extra: false: no other Skills should be triggeredmax_skills: upper bound for triggered Skills
Why this matters
Without routing evals, a Skill can pass positive task cases but still be harmful in practice:
- it may trigger too often
- it may respond outside its intended scope
- it may cause negative delta in multi-Skill setups
Initial small scope
To keep the first version manageable, this could start as:
- model routing cases as normal cases with
tag: routing - add a
routing_expectschema - support only engines that expose triggered/loaded Skill information
- return a clear skipped/unsupported result when routing info is unavailable
Open questions
- Do current agent adapters expose enough information to reliably identify which Skills were triggered?
- Should routing be a top-level suite type, or regular cases with
tag: routingplusrouting_expect? - Should the first version support only single-Skill routing, leaving multi-Skill routing for later?
- 主要言語
- Go
- スター
- 1.5k
- フォーク
- 134
- 平均マージ
- 1日 22時間
- マージ済み PR(30日)
- 61
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
alibaba/skill-up のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
メンテナーはふだん 1 日以内に返信
-
OpenSandbox runtime: expect.files_exist and file_contains fail because WorkspacePath is remote対応中かも @bababoom721 が 1 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
alibaba/skill-up#408 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
alibaba/skill-up#407 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
alibaba/skill-up#406 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
alibaba/skill-up の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
fluxcd/notification-controller#1441 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
OneBusAway/maglev#2145 ·
メンテナーはふだん 2 日以内に返信
-
priority/medium status/ready type/chore
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
discobox-ai/discobox#1357 ·
メンテナーはふだん 1 日以内に返信
-
TestPseudoLocaleRemote fails now and then: it types the code before the laptop asks for it対応中かも @fzn0x が今日担当しました。 オープンbug priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
edit_file diff rendering panics on invalid UTF-8 text対応中かも @TDnorthgarden が今日担当しました。 オープンarea/tui
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
docker/docker-agent#4955 ·
メンテナーはふだん 1 日以内に返信