planning evals: reorder-points case expects a MEDIUM blast radius and no reviewer dispatch, which main's plan skill cannot both satisfy

Ouverte Adaptée aux débutants
#17,039 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
66/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
shell
Domaine
ai-infra-agents

Piste de recherche

Lis plugins/planning/skills/plan/SKILL.md sous « Reviewer » et compare-le aux deux évaluateurs et au fixture nommés dans l’issue. Examine ensuite les cas voisins de plan-reviewer-cut de #15465 pour repérer le même conflit. Mets à jour le cas afin que les deux évaluateurs reflètent la règle de main déjà livrée, puis vérifie que les deux réussissent en une seule exécution sur trois exécutions.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Problem

Two graders of the eval case plugins/planning/evals/plan-reviewer-cut-medium-reorder-points cannot both pass on main:

  • graders/blast-radius-medium.md requires the plan to rate the blast radius MEDIUM (pattern blast[ -]radius[^\n]{0,12}?\bMEDIUM\b).
  • graders/reviewer-not-dispatched.md requires that no plan-reviewer agent is dispatched (min: 0, max: 0, arm: both).
  • plugins/planning/skills/plan/SKILL.md ("Reviewer"): under auto the reviewer "runs when the Step 3b blast radius is MEDIUM or higher". The case's scaffold sets verification: standard (plugins/planning/evals/fixtures/plan-reviewer-cut/init-repo.sh), so a MEDIUM rating dispatches the reviewer.

Both graders came in #15465, written for a cut of the reviewer at MEDIUM. That cut did not ship: the reviewer stays on at MEDIUM until measured. In the run recorded for #16921, blast-radius-medium failed 3 of 3 runs and reviewer-not-dispatched passed 3 of 3. Each grader weighs 0.001, so no score moved, but the case's name no longer says what it exercises.

Options

  • (a) Drop max: 0 from reviewer-not-dispatched in this case, so it matches the shipped rule that MEDIUM runs the reviewer. Recommended (basis: plugins/planning/skills/plan/SKILL.md, "Reviewer").
  • (b) Retarget the case to LOW: rename it and change blast-radius-medium, if the scaffold's four changed files with a clean revert are meant to rate LOW (plugins/planning/skills/plan/context/stress-test-triggers.md rates 3 to 10 files MEDIUM and "Git revert works" lower).

Done when

  • Both graders can pass in one run on main's plan skill, and a run of 3 shows it.
  • The sibling plan-reviewer-cut cases from #15465 are checked for the same conflict.

Source: workshop 01 close-out audit.

Langage dominant
Shell
Étoiles
22
Forks
2
Merge moyen
1 h 20 min
PR mergées (30 j)
952

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de melodic-software/claude-code-plugins

Toutes les issues de melodic-software/claude-code-plugins

Issues similaires

Plus d'issues Shell/Bash

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.