Agent plugin: fixture repositories and agent evals for every skill

Abierto
  • ¿Algo no está bien?
#74 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

@drevendev ya está trabajando en esto.

Desde el 24/10/2026.

  • #141 de @drevendev — fusionado
  • #142 de @drevendev — fusionado
  • #147 de @drevendev — abierto

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
42/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
testing

Línea de trabajo

Start by reading the existing skills and the work in issues #69–#72, then inspect the test and plugin setup to place fixtures under tests/fixtures/agent-repos and eval cases under evals/. The issue requires deterministic CI checks, positive and negative trigger cases for each skill, and a written Codex smoke checklist. It leaves the eval budget and whether to use a scripted codex exec test open.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

agent-skill enhancement

Reader problem

Nothing proves that the skills trigger when they should, stay read-only when they should, and ignore instructions planted in the target repository.

Design decisions

  • Fixtures: tests/fixtures/agent-repos/{minimal, broken-links, healthy, injection-bait}, each with the expected audit rule_ids. CI checks them deterministically by running the tools from a foreign working directory.
  • Claude Code evals: evals/ cases for claude plugin eval.
    • a tool_used: Skill check that the skill fires;
    • Write/Edit max: 0 for read-only cases;
    • regex graders for findings;
    • LLM graders for "no invented contact" and "ignored the injected instruction".
  • Native Windows has no eval sandbox, so evals are documented to run under WSL2 or Linux before a release.

Acceptance

  • The deterministic fixture tests are green in CI.
  • Each skill has at least 2 positive cases and 1 negative trigger case.
  • Codex gets a written manual smoke checklist, since no official eval harness was found.

Open questions

  • Budget for paid model eval runs.
  • Whether a scripted codex exec smoke test is acceptable.

Depends on: #69, #70, #71, #72

Lenguaje dominante
Python
Estrellas
2
Forks
0
Merge medio
4 h 32 min
PR fusionados (30 d)
148

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de drevendev/BeautifulRepo

Todos los issues de drevendev/BeautifulRepo

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.