test(playwright): add a claude plugin eval suite so skill-body changes can re-measure output
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- docker, shell
- 領域
- testing-qa
調査の方向性
Start with plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md line 191 and the playwright plugin's existing skills/*/evals/evals.json files, plus check-evals-quality.sh, to see what a plugin-eval suite must contain. Design the evals/ suite (prompt.md, case.yaml, graders) with /evals:design, then resolve the Bash and socat/docker host prerequisites. Done means a suite exists that runs on a supported host and a baseline result is recorded against #6650's skill body.
索引モデルが issue の本文から書いたものです。
説明
No related PR blocks on this; follow-up from #6650.
Problem
plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md:191 says a skill-body change re-measures output with /evals:plugin-eval. The playwright plugin has no plugin-eval suite (evals/ with prompt.md, case.yaml, graders); it has only skill-creator skills/*/evals/evals.json files. So #6650 (shared login state by default) could only pass the static evals.json check (5 cases, check-evals-quality.sh PASS, 0 warnings), with no measured with-versus-without delta.
Also needed on the run host
The eval sandbox refuses cases that grant Bash on melo WSL hosts: socat is missing (bwrap is present), and ~/.docker holds symbolic links (contexts, features.json). Any Bash-granting suite scores 0 there.
Proposed
- Design the suite with
/evals:design(or generate trigger cases via/skill-quality:check measure-invocationemit-plugin-eval), covering at least the shared-login load-after-open default and the expired-login gotcha. - Resolve the host prerequisites (provisioning) or name a host that can run it.
- Run it once against #6650's skill body as the baseline.
🤖 Generated with Claude Code
- 主要言語
- Shell
- スター
- 22
- フォーク
- 2
- 平均マージ
- 5時間 15分
- マージ済み PR（30日）
- 833
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
melodic-software/claude-code-plugins のほかの issue
-
good first issue needs-triage priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
melodic-software/claude-code-plugins#6631 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
melodic-software/claude-code-plugins#6547 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
melodic-software/claude-code-plugins#6535 ·
メンテナーはふだん 1 日以内に返信
-
test_comment_census.py: SccArgv flag-shaped-filename test errors on Windows (#!/bin/sh scc shim)オープンgood first issue needs-triage priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
melodic-software/claude-code-plugins#6532 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
good first issue needs-triage priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
melodic-software/claude-code-plugins#6390 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
melodic-software/claude-code-plugins の issue をすべて見る
似ている issue
-
good first issue need help packaging
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
phonology024/babelscribe#23 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
influxdata/openapi#660 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
tornadoweb/tornado#3781 ·
メンテナーはふだん 1 日以内に返信