test(playwright): add a claude plugin eval suite so skill-body changes can re-measure output
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- docker, shell
- Ambito
- testing-qa
Direzione di ricerca
Start with plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md line 191 and the playwright plugin's existing skills/*/evals/evals.json files, plus check-evals-quality.sh, to see what a plugin-eval suite must contain. Design the evals/ suite (prompt.md, case.yaml, graders) with /evals:design, then resolve the Bash and socat/docker host prerequisites. Done means a suite exists that runs on a supported host and a baseline result is recorded against #6650's skill body.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
No related PR blocks on this; follow-up from #6650.
Problem
plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md:191 says a skill-body change re-measures output with /evals:plugin-eval. The playwright plugin has no plugin-eval suite (evals/ with prompt.md, case.yaml, graders); it has only skill-creator skills/*/evals/evals.json files. So #6650 (shared login state by default) could only pass the static evals.json check (5 cases, check-evals-quality.sh PASS, 0 warnings), with no measured with-versus-without delta.
Also needed on the run host
The eval sandbox refuses cases that grant Bash on melo WSL hosts: socat is missing (bwrap is present), and ~/.docker holds symbolic links (contexts, features.json). Any Bash-granting suite scores 0 there.
Proposed
- Design the suite with
/evals:design(or generate trigger cases via/skill-quality:check measure-invocationemit-plugin-eval), covering at least the shared-login load-after-open default and the expired-login gotcha. - Resolve the host prerequisites (provisioning) or name a host that can run it.
- Run it once against #6650's skill body as the baseline.
🤖 Generated with Claude Code
- Lingua principale
- Shell
- Stelle
- 22
- Fork
- 2
- Merge medio
- 7h 23m
- PR unite (30g)
- 950
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di melodic-software/claude-code-plugins
-
fix(session-flow): redact.py misses bare sk-ant-oat01- tokens and stateless ghs_ tokens with dotsApertaneeds-human
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
melodic-software/claude-code-plugins#9026 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
needs-human
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
melodic-software/claude-code-plugins#9013 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
melodic-software/claude-code-plugins#9000 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
needs-human
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
melodic-software/claude-code-plugins#8998 ·
I maintainer di solito rispondono entro 1 giorno
-
fix(source-control): ready hold check treats hyphenated identifiers containing wip as a WIP markerApertapriority: medium
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
melodic-software/claude-code-plugins#8977 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di melodic-software/claude-code-plugins
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
alunduil/alunduil-chezmoi#964 ·
I maintainer di solito rispondono entro 1 giorno
-
bug-unconfirmed
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
[pico][astrocade] emu/apply.sh edits src/mame/midway/astrohome.cpp, which current MAME has in bally/Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
FujiNetWIFI/fujinet-firmware#2120 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100