ci(evals): run the eval dispatch with TMPDIR outside /tmp so Bash cases can write

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#12,083 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
74/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, shell
Lĩnh vực
ci-cd

Hướng nghiên cứu

Bắt đầu từ tệp workflow eval-browser-dispatch.yml, nơi bước claude plugin eval chạy với TMPDIR mặc định của runner. Đặt TMPDIR cho bước đó thành một thư mục ngắn nằm ngoài /tmp (từ 24 ký tự trở xuống), sau đó kiểm tra các thiết lập sandbox mà bước này tạo ra. Hoàn thành khi một lần dispatch của một case được cấp quyền Bash, có ghi vào workspace của nó, không hiển thị dòng 'Read-only file system' nào trong trace.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

host-run priority: medium status: ready work-class: scoped

Refs: #12070

Outcome

eval-browser-dispatch.yml runs claude plugin eval with the runner's default TMPDIR, so every run root lands under /tmp. On Claude Code 2.1.316 the run's own sandbox settings then make that root read-only to Bash: sandbox.filesystem.allowWrite lists the run's home and tmp directories, and denyWrite lists //tmp, which covers both and wins. Any Bash-granting case that writes in its workspace (a git fetch, git merge, the verify record, the gh-forge stand-in's state) fails with Read-only file system in CI.

Evidence from the #12070 host run (2026-11-01, Claude Code 2.1.316, --runs 1 --ablation none, the two pull-request-ready-* cases):

  • Default TMPDIR: cannot lock ref 'ORIG_HEAD': Unable to create '<run>/home/cwd/.git/ORIG_HEAD.lock': Read-only file system, and zsh:2: read-only file system: <run>/tmp/claude-1000/cwd-*. Neither case reached gh pr ready.
  • TMPDIR outside /tmp: no read-only write in either trace, both cases reached gh pr ready and scored 1.0, validity gate VALID.

/evals:plugin-eval already tells local runs on Linux and WSL2 to set TMPDIR to a short directory outside the system temp directory.

Done when

  • The eval dispatch workflow runs claude plugin eval with TMPDIR set to a short directory outside /tmp (at most 24 characters, per /evals:plugin-eval's sandbox-start reference, so the sandbox's bridge sockets still fit).
  • A dispatch of a Bash-granting case that writes in its workspace shows no Read-only file system line in its trace.

Out of scope

  • Changing the eval cases or the gh-forge stand-in: with a writable root they need no change.
Ngôn ngữ chính
Shell
Star
22
Fork
2
Merge trung bình
1 giờ 38 phút
Pull request đã merge (30 ngày)
911

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của melodic-software/claude-code-plugins

Tất cả issue của melodic-software/claude-code-plugins

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.