test(source-control): add eval cases for babysit-prs, babysit-loop and setup
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 48/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- github, shell
- Lĩnh vực
- devtools, testing-qa
Hướng nghiên cứu
Read the three skills’ SKILL.md files, the eval cases under plugins/source-control/evals/, the skill criteria at plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md, and the gh/PR fixture work in #6997. Design at least one case for each skill with /evals:design, validate with /evals:validate, then run each case paid with and without the skill. Done when all cases load, avoid real GitHub, and record their with/without results.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Observed
plugins/source-control/evals/ has cases for commit, pull-request, resolve-conflicts and worktree, and none for three of its skills:
babysit-prsbabysit-loopsetup
(check is a read-only prerequisites check and is out of scope here.) Changes to these three skills ship with no behavioral evidence, and the skill criteria (plugins/playbooks/skills/skill-authoring/reference/skill-criteria.md) require eval evidence of no loss before a cut to a skill body, which these skills cannot produce today.
Fix wanted
Design at least one case per skill with /evals:design, covering the behavior each SKILL.md treats as most important, for example:
- babysit-prs: the safe default tier never resolves threads or merges.
- babysit-loop: a
do-not-mergelabel or a body hold stops the merge. - setup: writes only what the user confirmed.
Both babysit skills read GitHub state, so they need the gh/PR fixture from #6997; build on that rather than calling real GitHub. Validate statically (/evals:validate), then run each case paid with/without and record the delta.
Acceptance: each skill has at least one case that loads, never touches real GitHub, and shows a with/without result.
Depends on: #6997
- Ngôn ngữ chính
- Shell
- Star
- 22
- Fork
- 2
- Merge trung bình
- 8 giờ 27 phút
- Pull request đã merge (30 ngày)
- 957
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của melodic-software/claude-code-plugins
-
priority: medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
melodic-software/claude-code-plugins#7351 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
agent-ready priority: high work-class: scoped
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
melodic-software/claude-code-plugins#7312 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
priority: medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
melodic-software/claude-code-plugins#7288 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
knowledge: docpage-digest dual verification defines no verdict vocabulary or pass/fail thresholdĐang mởneeds-human
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
melodic-software/claude-code-plugins#7286 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
priority: low
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
melodic-software/claude-code-plugins#7282 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của melodic-software/claude-code-plugins
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
e2e-failure ready-to-code
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
redhat-developer/rhdh-plugin-export-overlays#4391 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
graygarbage/HermesKey#20 ·
-
Version-drift constraint evaluator (#40): validate the candidate version and run its unit test in CIĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
n8n-io/terraform-google-n8n#41 ·
Maintainer thường phản hồi trong vòng 5 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100