feat(evals): automated eval runner with hit, miss and false-positive scoring
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 56/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- javascript, node.js
Rechercherichtung
Start by reading the existing eval fixtures, their expected.md files, and evals/README.md; the issue does not name specific files beyond those paths. Define the machine-readable finding format and how fixture reports are scored, then add a runner that launches fixture sessions in parallel with a timeout. Done means it reports hit, partial, miss, and false positive totals, exits non-zero for missed required findings, and documents the runner while retaining the manual fallback.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
What
Evals are run by hand today: one headless claude -p session per fixture, then each report is read against expected.md and scored by eye.
Why
Hand scoring is slow and drifts between runs, so a regression in SKILL.md or a reference can slip through a release.
Acceptance criteria
-
npm run eval(ornode evals/run.mjs) starts one session per fixture in parallel with--plugin-dirand a timeout. - Each
expected.mdgains a machine-readable block (file, line range, grade, keywords) for must, should, acceptable and must-not findings. - The runner prints hit / partial / miss / false positive per fixture and a total, and exits non-zero when a required finding is missed.
- evals/README.md documents the runner; the manual steps stay as a fallback.
- Vorherrschende Sprache
- JavaScript
- Sterne
- 0
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus devmaxxx/stackwise
-
feat: add a plugin iconOffenenhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
-
enhancement
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
-
enhancement
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100
-
bug eval
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 66/100
-
bug
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
Alle Issues in devmaxxx/stackwise
Ähnliche Issues
-
Link Checker ReportOffenautomated issue report
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 70/100
microsoft/playwright#43640 ·
Maintainer antworten meist innerhalb von 1 Tag
-
✏️ Editing - Tags
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
openfoodfacts/openfoodfacts-server#15127 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Add a dark mode toggleOffenenhancement good first issue hacktoberfest help wanted
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Andbal23/dynamic-music-pill#195 ·
Maintainer antworten meist innerhalb von 1 Tag