feat: add routing-focused eval support
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
Línea de trabajo
Empieza revisando el esquema actual de casos y las interfaces de los adaptadores de agentes para ver cómo se modelan los casos y si los Skills activados o cargados están expuestos. Compara los campos routing_expect propuestos y determina qué requeriría un resultado omitido o no compatible; se considera terminado cuando el alcance y el soporte de los adaptadores están definidos con suficiente claridad para implementarlos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Motivation
skill-up is good at evaluating whether an Agent completes a task correctly once a Skill is installed. For Skill development, another important question is whether the Skill should be triggered for a prompt at all.
Routing behavior matters because:
- a Skill should trigger for intended prompts
- it should not trigger for unrelated prompts
- in multi-Skill environments, one Skill should not over-trigger or shadow another Skill
Proposed capability
A routing case could look like this:
id: route-code-review-positive
tag: routing
input:
prompt: "Review this pull request and identify risks"
routing_expect:
must_include: [code-review]
allow_extra: false
max_skills: 1
A negative case could look like this:
id: route-code-review-negative
tag: routing
input:
prompt: "Write a poem about winter"
routing_expect:
must_not_include: [code-review]
Possible semantics:
must_include: expected Skill names must be selected or loadedmust_not_include: listed Skills must not be selected or loadedallow_extra: false: no other Skills should be triggeredmax_skills: upper bound for triggered Skills
Why this matters
Without routing evals, a Skill can pass positive task cases but still be harmful in practice:
- it may trigger too often
- it may respond outside its intended scope
- it may cause negative delta in multi-Skill setups
Initial small scope
To keep the first version manageable, this could start as:
- model routing cases as normal cases with
tag: routing - add a
routing_expectschema - support only engines that expose triggered/loaded Skill information
- return a clear skipped/unsupported result when routing info is unavailable
Open questions
- Do current agent adapters expose enough information to reliably identify which Skills were triggered?
- Should routing be a top-level suite type, or regular cases with
tag: routingplusrouting_expect? - Should the first version support only single-Skill routing, leaving multi-Skill routing for later?
- Lenguaje dominante
- Go
- Estrellas
- 1.5k
- Forks
- 134
- Merge medio
- 1 d 22 h
- PR fusionados (30 d)
- 61
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de alibaba/skill-up
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
Los mantenedores suelen responder en 1 día
-
OpenSandbox runtime: expect.files_exist and file_contains fail because WorkspacePath is remotePosiblemente ocupada @bababoom721 la tomó hace 1 día. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
alibaba/skill-up#408 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
alibaba/skill-up#407 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
alibaba/skill-up#406 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de alibaba/skill-up
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
fluxcd/notification-controller#1441 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
OneBusAway/maglev#2145 ·
Los mantenedores suelen responder en 2 días
-
priority/medium status/ready type/chore
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
discobox-ai/discobox#1357 ·
Los mantenedores suelen responder en 1 día
-
TestPseudoLocaleRemote fails now and then: it types the code before the laptop asks for itPosiblemente ocupada @fzn0x la tomó hoy. Abiertobug priority: low
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
edit_file diff rendering panics on invalid UTF-8 textPosiblemente ocupada @TDnorthgarden la tomó hoy. Abiertoarea/tui
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
docker/docker-agent#4955 ·
Los mantenedores suelen responder en 1 día