Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

evals: run-validity calls runs VALID when every Bash call failed to start the sandbox (long TMPDIR)

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#9,611 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
72/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
shell
Lĩnh vực
devtools, testing

Hướng nghiên cứu

Bắt đầu với plugins/evals/skills/plugin-eval/scripts/run-validity.py và kiểm tra cách tập lệnh đọc các trace được giữ lại và đánh giá kết quả của công cụ; so sánh điều đó với lỗi khởi tạo sandbox đã được báo cáo. Sau đó, đọc plugins/evals/skills/plugin-eval/reference/sandboxes.md để xem hướng dẫn về TMPDIR. Công việc hoàn tất khi validity đánh dấu hoặc cảnh báo về các lệnh gọi Bash thất bại này và tài liệu tham khảo giải thích giới hạn đường dẫn bằng cách dẫn đến tài liệu CLI.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

priority: medium status: needs-decision work-class: scoped

What happened

claude plugin eval (Claude Code 2.1.310, WSL2) with TMPDIR set to a directory on disk at a 50-character path (<home>/<dir>/<dir>/eval-tmp) ran 150 session-flow runs (--scaffold --keep-temp --runs 3 --allow-tools Bash Write Edit).

  • 129 of the 150 kept traces show every Bash call failing with Sandbox is required but failed to initialize: Failed to create bridge sockets after 5 attempts. Restart to retry. Running it outside the sandbox (dangerouslyDisableSandbox) is not allowed either. The runs finished normally (error: null), and their scores measured a session with no shell.
  • plugins/evals/skills/plugin-eval/scripts/run-validity.py reported verdict: VALID for 20 of the 25 cases. Its run-error check reads the run's error field and the trace's final state, not tool-result errors.
  • A one-case probe isolates the cause: a Bash-only case fails the same way at that TMPDIR. The same case prints its output at a 24-character TMPDIR. Likely the sandbox's socket paths under $TMPDIR/claude-eval-<id>/tmp/... exceed the Unix socket path limit (UNVERIFIED; the exact limit was not measured).

Expected

  • run-validity.py reports a run as invalid, or at least warns, when its trace holds a sandbox start failure on a tool call.
  • The plugin-eval skill says that a long TMPDIR breaks the sandbox, with the limit stated by pointer to wherever the CLI documents it.

Suggested fix location

  • plugins/evals/skills/plugin-eval/scripts/run-validity.py: a sandbox check that scans kept traces for Sandbox is required but failed to initialize.
  • plugins/evals/skills/plugin-eval/reference/sandboxes.md: the TMPDIR length note.

Related

  • #9514: the same gate also misses 0-turn runs caused by a sandbox write failure.

Found while running the session-flow handoff-efficiency baselines (branch feat/session-flow-handoff-efficiency).

Ngôn ngữ chính
Shell
Star
22
Fork
2
Merge trung bình
6 giờ 11 phút
Pull request đã merge (30 ngày)
955

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của melodic-software/claude-code-plugins

Tất cả issue của melodic-software/claude-code-plugins

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.