Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

fix(evals): give the methodology rewrite answer a template whose target slot needs a stated basis

Chiusa Adatta ai principianti
  • Qualcosa non va?
#10,217 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Una pull request collegata è già stata integrata.

  • #10878 di @melodic-automation-lanes — integrata

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
72/100
Tipo di issue
Documentazione
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python, shell
Ambito
documentation, testing-qa

Direzione di ricerca

Leggi plugins/evals/skills/methodology/SKILL.md, in particolare la risposta «Rewrite this criterion» e le indicazioni esistenti intorno alle righe 42–52. Sostituisci quella risposta con il modello da compilare richiesto, aggiungi un frammento sotto .changes/evals/ e poi esegui i due comandi di convalida elencati; i file dei prompt e del grader devono rimanere invariati. Il lavoro è completato quando il controllo basis: passa, entrambi i validatori terminano con codice di uscita 0 e CI è verde sul PR head.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

priority: medium status: ready work-class: scoped

Parent: #5973 (slice 1 of 2). Runs first; slice 2 waits on it.
Runs in: lane. Skill text and an offline grader check only; no model run.

Problem

In the measurable-criterion case (plugins/evals/evals/measurable-criterion/) the evals plugin passes the calibrated four-properties grader in 2 of 3 with-plugin runs, on two VALID runs (2026-10-13 and 2026-10-24). The failing reply sets "at least 99%" for red-flag escalation and then says the number comes from severity. The hub already says severity is no basis (plugins/evals/skills/methodology/SKILL.md:42-45) and that the rewrite carries a grounded target (:46-52), and a one-line wording addition tried on 10-24 did not move the result. The model states the rule and still keeps the severity-based number.

Decision (taken from the 10-24 data, not escalated): option (a) of that comment. The rewrite answer gets a template whose target slot can only be filled from a measured baseline, a prior result, a benchmark or expert review, or else the baseline-relative form, so a severity-only number has no slot. Basis: the failing reply named the rule and broke it, which points at the answer's shape, not missing knowledge (#5973 row of the backlog HITL batch).

Fix

In plugins/evals/skills/methodology/SKILL.md, replace the prose of the "Rewrite this criterion" answer with a short fill-in template: quality, number or scale, trial set and size, target, and a basis: slot whose allowed values are exactly the four sources above or the baseline-relative form ("at most half the current rate over N trials"). Say a target with no allowed basis is written in the baseline-relative form, never as a placeholder. Do not change the case prompt or the four-properties rubric. If the change makes any four-properties calibration sample stale, update the sample and say so in the PR (slice 2 recalibrates). Add a .changes/evals/ fragment.

Done when

  • grep -c 'basis:' plugins/evals/skills/methodology/SKILL.md prints 1 or more, inside the "Rewrite this criterion" answer
  • git diff --name-only origin/main...HEAD -- plugins/evals/evals/measurable-criterion/prompt.md plugins/evals/evals/measurable-criterion/graders/ prints nothing
  • python3 plugins/evals/skills/validate/scripts/validate-cases.py plugins/evals/evals exits 0
  • bash plugins/skill-quality/scripts/check-skill.sh plugins/evals/skills exits 0
  • ci-status is green on the PR head

Split by the backlog HITL session (2026-10-25, owner rule Q93: split large work before a run picks it up). This was generated by AI.

Lingua principale
Shell
Stelle
22
Fork
2
Merge medio
3h 15m
PR unite (30g)
949

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di melodic-software/claude-code-plugins

Tutte le issue di melodic-software/claude-code-plugins

Issue simili

Altre issue su Shell/Bash

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.