Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

test(playwright): add a claude plugin eval suite so skill-body changes can re-measure output

Đã đóng
  • Có gì không ổn?
#6,651 7 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
docker, shell
Lĩnh vực
testing-qa

Hướng nghiên cứu

Start with plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md line 191 and the playwright plugin's existing skills/*/evals/evals.json files, plus check-evals-quality.sh, to see what a plugin-eval suite must contain. Design the evals/ suite (prompt.md, case.yaml, graders) with /evals:design, then resolve the Bash and socat/docker host prerequisites. Done means a suite exists that runs on a supported host and a baseline result is recorded against #6650's skill body.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

needs-human needs-triage

No related PR blocks on this; follow-up from #6650.

Problem

plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md:191 says a skill-body change re-measures output with /evals:plugin-eval. The playwright plugin has no plugin-eval suite (evals/ with prompt.md, case.yaml, graders); it has only skill-creator skills/*/evals/evals.json files. So #6650 (shared login state by default) could only pass the static evals.json check (5 cases, check-evals-quality.sh PASS, 0 warnings), with no measured with-versus-without delta.

Also needed on the run host

The eval sandbox refuses cases that grant Bash on melo WSL hosts: socat is missing (bwrap is present), and ~/.docker holds symbolic links (contexts, features.json). Any Bash-granting suite scores 0 there.

Proposed

  1. Design the suite with /evals:design (or generate trigger cases via /skill-quality:check measure-invocation emit-plugin-eval), covering at least the shared-login load-after-open default and the expired-login gotcha.
  2. Resolve the host prerequisites (provisioning) or name a host that can run it.
  3. Run it once against #6650's skill body as the baseline.

🤖 Generated with Claude Code

Ngôn ngữ chính
Shell
Star
22
Fork
2
Merge trung bình
2 giờ 48 phút
Pull request đã merge (30 ngày)
939

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của melodic-software/claude-code-plugins

Tất cả issue của melodic-software/claude-code-plugins

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.