Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

docs(evals): plugin-eval runs started in the background die when a headless launcher exits

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#6,333 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Tài liệu
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
markdown, shell
Lĩnh vực
documentation

Hướng nghiên cứu

Sửa plugins/evals/skills/plugin-eval/SKILL.md để nêu rằng trong claude -p hoặc các phiên không tương tác khác mỗi claude plugin eval phải chạy ở foreground (hoặc qua CLI -j) và phiên không được thoát khi một lần chạy đang diễn ra; trích dẫn lỗi headless ngày 2026-10-04 làm bằng chứng. Thêm một trường hợp eval có prompt dạng headless và làm fail một phản hồi đưa lần chạy ra background rồi kết thúc. Xong khi skill ghi lại quy tắc và trường hợp eval đó fail mẫu xấu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

good first issue needs-triage priority: medium

Problem

On 2026-10-04 a headless claude -p session ran /evals:plugin-eval over three Bash-granting suites. It started each claude plugin eval run in the background, printed "The three suites are running in the background now", and exited. Exiting killed all three runs: every result file ended partial: true, partialReason: "interrupted", 12 to 39 seconds after start, and the validity gate marked all three INVALID. Spend was 4.56 USD (CLI list-price) with nothing measured. The same suites rerun as tracked foreground tasks completed normally (18.19 USD, valid).

Fix

The skill tells the run to stay attached: in a claude -p or other non-interactive session, run each claude plugin eval in the foreground (one after another, or with the CLI's own -j concurrency) and never end the session while a run is in flight. In an interactive session, a backgrounded run is fine only through a harness-tracked background task.

Acceptance

  • plugins/evals/skills/plugin-eval/SKILL.md states the rule, with this failure as its observed-stumble evidence.
  • An eval case gives a headless-shaped prompt and fails a reply that backgrounds the run and ends.
Ngôn ngữ chính
Shell
Star
22
Fork
2
Merge trung bình
5 giờ 11 phút
Pull request đã merge (30 ngày)
838

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của melodic-software/claude-code-plugins

Tất cả issue của melodic-software/claude-code-plugins

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.