feat: add routing-focused eval support

Abierto
#166 5 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Activo
Stack tecnológico
go
Área
ai, testing

Línea de trabajo

Empieza revisando el esquema actual de casos y las interfaces de los adaptadores de agentes para ver cómo se modelan los casos y si los Skills activados o cargados están expuestos. Compara los campos routing_expect propuestos y determina qué requeriría un resultado omitido o no compatible; se considera terminado cuando el alcance y el soporte de los adaptadores están definidos con suficiente claridad para implementarlos.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Motivation

skill-up is good at evaluating whether an Agent completes a task correctly once a Skill is installed. For Skill development, another important question is whether the Skill should be triggered for a prompt at all.

Routing behavior matters because:

  • a Skill should trigger for intended prompts
  • it should not trigger for unrelated prompts
  • in multi-Skill environments, one Skill should not over-trigger or shadow another Skill

Proposed capability

A routing case could look like this:

id: route-code-review-positive
tag: routing

input:
  prompt: "Review this pull request and identify risks"

routing_expect:
  must_include: [code-review]
  allow_extra: false
  max_skills: 1

A negative case could look like this:

id: route-code-review-negative
tag: routing

input:
  prompt: "Write a poem about winter"

routing_expect:
  must_not_include: [code-review]

Possible semantics:

  • must_include: expected Skill names must be selected or loaded
  • must_not_include: listed Skills must not be selected or loaded
  • allow_extra: false: no other Skills should be triggered
  • max_skills: upper bound for triggered Skills

Why this matters

Without routing evals, a Skill can pass positive task cases but still be harmful in practice:

  • it may trigger too often
  • it may respond outside its intended scope
  • it may cause negative delta in multi-Skill setups

Initial small scope

To keep the first version manageable, this could start as:

  1. model routing cases as normal cases with tag: routing
  2. add a routing_expect schema
  3. support only engines that expose triggered/loaded Skill information
  4. return a clear skipped/unsupported result when routing info is unavailable

Open questions

  1. Do current agent adapters expose enough information to reliably identify which Skills were triggered?
  2. Should routing be a top-level suite type, or regular cases with tag: routing plus routing_expect?
  3. Should the first version support only single-Skill routing, leaving multi-Skill routing for later?
Lenguaje dominante
Go
Estrellas
1.5k
Forks
134
Merge medio
1 d 22 h
PR fusionados (30 d)
61

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de alibaba/skill-up

Todos los issues de alibaba/skill-up

Issues similares

Más issues de Go

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.