feat: add routing-focused eval support

オープン
#166 コメント 5 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
35/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
活発
技術スタック
go
領域
ai, testing

調査の方向性

現在のケーススキーマとエージェントアダプターのインターフェースを確認することから始め、ケースがどのようにモデル化されているか、またトリガーされた、またはロードされた Skills が公開されているかを確認します。提案された routing_expect フィールドを比較し、スキップまたはサポートされていない結果に何が必要かを判断します。実装できるほどスコープとアダプターのサポートが明確になれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Motivation

skill-up is good at evaluating whether an Agent completes a task correctly once a Skill is installed. For Skill development, another important question is whether the Skill should be triggered for a prompt at all.

Routing behavior matters because:

  • a Skill should trigger for intended prompts
  • it should not trigger for unrelated prompts
  • in multi-Skill environments, one Skill should not over-trigger or shadow another Skill

Proposed capability

A routing case could look like this:

id: route-code-review-positive
tag: routing

input:
  prompt: "Review this pull request and identify risks"

routing_expect:
  must_include: [code-review]
  allow_extra: false
  max_skills: 1

A negative case could look like this:

id: route-code-review-negative
tag: routing

input:
  prompt: "Write a poem about winter"

routing_expect:
  must_not_include: [code-review]

Possible semantics:

  • must_include: expected Skill names must be selected or loaded
  • must_not_include: listed Skills must not be selected or loaded
  • allow_extra: false: no other Skills should be triggered
  • max_skills: upper bound for triggered Skills

Why this matters

Without routing evals, a Skill can pass positive task cases but still be harmful in practice:

  • it may trigger too often
  • it may respond outside its intended scope
  • it may cause negative delta in multi-Skill setups

Initial small scope

To keep the first version manageable, this could start as:

  1. model routing cases as normal cases with tag: routing
  2. add a routing_expect schema
  3. support only engines that expose triggered/loaded Skill information
  4. return a clear skipped/unsupported result when routing info is unavailable

Open questions

  1. Do current agent adapters expose enough information to reliably identify which Skills were triggered?
  2. Should routing be a top-level suite type, or regular cases with tag: routing plus routing_expect?
  3. Should the first version support only single-Skill routing, leaving multi-Skill routing for later?
主要言語
Go
スター
1.5k
フォーク
134
平均マージ
1日 22時間
マージ済み PR(30日)
61

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

alibaba/skill-up のほかの issue

alibaba/skill-up の issue をすべて見る

似ている issue

Go の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。