Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

feat(hook-manager): add Step P.3b eval suite for hook-manager shim skipping (#1838 follow-up)

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#1,891 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@Kaap10 đang làm issue này rồi.

Từ ngày 28/10/2026.

  • #1892 của @Kaap10 — đang mở

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
82/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
ai-infra-agents, testing

Hướng nghiên cứu

Bắt đầu với các trường hợp đánh giá trong tools/skill-evals/evals/setup-isolated-setup-install/ và hướng dẫn Step P.3b trong plugins/magpie-setup/skills/isolated-setup-install/step-p-sandbox-allowlists.md. Thêm bộ kiểm thử step-hook-manager-shim cho việc bỏ qua khi dùng chiến lược none, cài đặt prek, các repository hỗn hợp, repository không được quản lý và phạm vi theo từng dự án. Chạy bộ đánh giá hành vi; hoàn tất khi các trường hợp đó xác nhận kết quả dispatcher và shim đã cài đặt như được chỉ định.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

What should happen

Add behavioral eval coverage in tools/skill-evals/evals/setup-isolated-setup-install/ for Step P.3b (Step-P prose) verifying that the agent skips copying shims to ~/.claude/bin/ for hook managers whose install strategy is none (simple-git-hooks, cargo-husky, git-code-format-maven-plugin, git-build-hook) and installs the shim exclusively for managers requiring an install fix (prek).

To ensure incremental review and zero external tool dependencies, this follow-up is structured into two parts:

  • Part 1 (Immediate PR): Implement the step-hook-manager-shim behavioral eval suite in setup-isolated-setup-install covering positive, negative (none-strategy skipping), mixed, and scope boundary cases.
  • Part 2 (Subsequent Follow-Up): Empirical execution of git-code-format-maven-plugin and git-build-hook under the whole-user dispatcher in both main checkout and linked worktrees in an environment with JDK 17+ and Maven 3.9+, allowing documentation to drop the "from upstream source" qualifier.
Why

During the review and merge of PR #1838, maintainer @potiuk noted:

"test_none_strategy_generates_no_shim_case pins that the generated shim has no case for a none adapter. The decision that matters is the install step skipping those adapters, which lives in step-p's prose, so its real coverage would be an eval case for setup-isolated-setup-install. A run of the two Maven plugins under the dispatcher, in the main checkout and a linked worktree, would also let those bullets drop the "from upstream source" qualifier."

The generator test test_none_strategy_generates_no_shim_case pins that tools/agent-isolation/hook-manager-shim.sh contains no case statement for none adapters, but does not test the agent's decision-making during Step P.3b execution. Adding an eval suite pins this behavior against regression.

Which layer

Python package (tools/*/ with pyproject.toml)

Boundary conditions (optional)
  • Negative skipping: Repositories using only strategy: "none" adapters (simple-git-hooks, cargo-husky, git-code-format-maven-plugin, git-build-hook) must produce installed_shims: [].
  • Positive installation: Repositories using prek must produce installed_shims: ["prek"].
  • Mixed repositories: Repositories combining prek with none adapters must selectively install installed_shims: ["prek"].
  • Unmanaged repositories: Repositories without hook managers must produce installed_shims: [].
  • Non-dispatcher scopes: When the operator selects per-project scope, Step P.3b must be skipped entirely (dispatcher_installed: false, installed_shims: []).
Out of scope (optional)
  • Modifying tools/hook-manager/registry.json or existing adapter definitions.
  • Running live Java/Maven execution (Part 2).
References (optional)
  • Follow-up from PR #1838 (feat(hook-manager): register managers that need no install fix (#1825))
  • tools/hook-manager/registry.json
  • plugins/magpie-setup/skills/isolated-setup-install/step-p-sandbox-allowlists.md (Step P.3b)
Ngôn ngữ chính
Python
Star
124
Fork
114
Merge trung bình
14 giờ 39 phút
Pull request đã merge (30 ngày)
370

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/magpie

Tất cả issue của apache/magpie

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.