planning evals: reorder-points case expects a MEDIUM blast radius and no reviewer dispatch, which main's plan skill cannot both satisfy

Offen Anfängerfreundlich
#17,039 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
66/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
shell
Bereich
ai-infra-agents

Rechercherichtung

Lies plugins/planning/skills/plan/SKILL.md unter „Reviewer“ und vergleiche es mit den beiden Gradern und der im Issue genannten Fixture. Untersuche anschließend die benachbarten plan-reviewer-cut-Fälle aus #15465 auf denselben Konflikt. Aktualisiere den Fall so, dass beide Grader die ausgelieferte Regel von main widerspiegeln, und überprüfe in drei Durchläufen, dass beide in einem Lauf bestehen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Problem

Two graders of the eval case plugins/planning/evals/plan-reviewer-cut-medium-reorder-points cannot both pass on main:

  • graders/blast-radius-medium.md requires the plan to rate the blast radius MEDIUM (pattern blast[ -]radius[^\n]{0,12}?\bMEDIUM\b).
  • graders/reviewer-not-dispatched.md requires that no plan-reviewer agent is dispatched (min: 0, max: 0, arm: both).
  • plugins/planning/skills/plan/SKILL.md ("Reviewer"): under auto the reviewer "runs when the Step 3b blast radius is MEDIUM or higher". The case's scaffold sets verification: standard (plugins/planning/evals/fixtures/plan-reviewer-cut/init-repo.sh), so a MEDIUM rating dispatches the reviewer.

Both graders came in #15465, written for a cut of the reviewer at MEDIUM. That cut did not ship: the reviewer stays on at MEDIUM until measured. In the run recorded for #16921, blast-radius-medium failed 3 of 3 runs and reviewer-not-dispatched passed 3 of 3. Each grader weighs 0.001, so no score moved, but the case's name no longer says what it exercises.

Options

  • (a) Drop max: 0 from reviewer-not-dispatched in this case, so it matches the shipped rule that MEDIUM runs the reviewer. Recommended (basis: plugins/planning/skills/plan/SKILL.md, "Reviewer").
  • (b) Retarget the case to LOW: rename it and change blast-radius-medium, if the scaffold's four changed files with a clean revert are meant to rate LOW (plugins/planning/skills/plan/context/stress-test-triggers.md rates 3 to 10 files MEDIUM and "Git revert works" lower).

Done when

  • Both graders can pass in one run on main's plan skill, and a run of 3 shows it.
  • The sibling plan-reviewer-cut cases from #15465 are checked for the same conflict.

Source: workshop 01 close-out audit.

Vorherrschende Sprache
Shell
Sterne
22
Forks
2
Ø Merge
1 Std. 20 Min.
Gemergte PRs (30 T.)
952

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus melodic-software/claude-code-plugins

Alle Issues in melodic-software/claude-code-plugins

Ähnliche Issues

Weitere Issues zu Shell/Bash

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.