Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

evals: run-validity calls runs VALID when every Bash call failed to start the sandbox (long TMPDIR)

クローズ 初心者向け
  • 何か問題がありますか？
#9,611 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

関連するプルリクエストがすでにマージされています。

  • #10077 @kyle-sexton による — マージ済み

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
72/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
shell
領域
devtools, testing

調査の方向性

plugins/evals/skills/plugin-eval/scripts/run-validity.pyから始め、保持されたトレースをどのように読み取り、ツールの結果を評価しているかを確認します。それを報告されたサンドボックス初期化の失敗と比較します。次に、plugins/evals/skills/plugin-eval/reference/sandboxes.mdを読み、TMPDIRに関するガイダンスを確認します。これらの失敗したBash呼び出しをvalidityが検出するか警告し、リファレンスがCLIドキュメントを参照してパスの制約を説明した時点で完了です。

索引モデルが issue の本文から書いたものです。

説明

priority: medium status: needs-decision work-class: scoped

What happened

claude plugin eval (Claude Code 2.1.310, WSL2) with TMPDIR set to a directory on disk at a 50-character path (<home>/<dir>/<dir>/eval-tmp) ran 150 session-flow runs (--scaffold --keep-temp --runs 3 --allow-tools Bash Write Edit).

  • 129 of the 150 kept traces show every Bash call failing with Sandbox is required but failed to initialize: Failed to create bridge sockets after 5 attempts. Restart to retry. Running it outside the sandbox (dangerouslyDisableSandbox) is not allowed either. The runs finished normally (error: null), and their scores measured a session with no shell.
  • plugins/evals/skills/plugin-eval/scripts/run-validity.py reported verdict: VALID for 20 of the 25 cases. Its run-error check reads the run's error field and the trace's final state, not tool-result errors.
  • A one-case probe isolates the cause: a Bash-only case fails the same way at that TMPDIR. The same case prints its output at a 24-character TMPDIR. Likely the sandbox's socket paths under $TMPDIR/claude-eval-<id>/tmp/... exceed the Unix socket path limit (UNVERIFIED; the exact limit was not measured).

Expected

  • run-validity.py reports a run as invalid, or at least warns, when its trace holds a sandbox start failure on a tool call.
  • The plugin-eval skill says that a long TMPDIR breaks the sandbox, with the limit stated by pointer to wherever the CLI documents it.

Suggested fix location

  • plugins/evals/skills/plugin-eval/scripts/run-validity.py: a sandbox check that scans kept traces for Sandbox is required but failed to initialize.
  • plugins/evals/skills/plugin-eval/reference/sandboxes.md: the TMPDIR length note.

Related

  • #9514: the same gate also misses 0-turn runs caused by a sandbox write failure.

Found while running the session-flow handoff-efficiency baselines (branch feat/session-flow-handoff-efficiency).

主要言語
Shell
スター
22
フォーク
2
平均マージ
2時間 45分
マージ済み PR（30日）
940

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

melodic-software/claude-code-plugins のほかの issue

melodic-software/claude-code-plugins の issue をすべて見る

似ている issue

Shell/Bash の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。