test(source-control): give the pull-request eval cases a gh fixture so ready runs reach the flip
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- git, github, shell
- 領域
- devtools, testing-qa
調査の方向性
Start with plugins/source-control/evals/pull-request-ready-hands-pr-to-explain-change/scaffold.sh and the ready phase's gh pr view lookup (§2.5.1) in the pull-request skill. The mechanism is undecided: choose between a gh shim the scaffold puts on PATH (check the sandbox's PATH first) and a fixture convention in the /evals:plugin-eval case-authoring reference. Done when the ready cases reach gh pr ready in a kept-trace run.
索引モデルが issue の本文から書いたものです。
説明
Context
Found in review of #6987 (Codex finding on plugins/source-control/evals/pull-request-ready-hands-pr-to-explain-change/scaffold.sh).
Problem
The source-control plugin-eval cases for /source-control:pull-request (pull-request-ready-merges-base-never-rebases, pull-request-ready-hands-pr-to-explain-change, and likely the merge and dirty-worktree cases) scaffold only a local git repository: no remote, no pull request, and no gh fixture. The skill's ready phase first resolves the PR (gh pr view, §2.5.1) and stops when that fails, so a correct run never reaches the steps these cases grade (the base merge, gh pr ready, the explain-change hand-off). The graders can then pass only on a run that ignores a failed lookup.
No case in the repository stubs gh today, and a case cannot set PATH (env keys are limited to EVAL_*), so the fix needs a decided mechanism.
Suggested fix
Decide how a plugin-eval case presents a forge to the skill: a gh shim the scaffold installs where the run's PATH finds it (verify the sandbox's PATH first), or a documented fixture convention in /evals:plugin-eval's case-authoring reference. Then apply it to every pull-request case that calls gh, and confirm with a kept-trace run that the ready cases reach gh pr ready.
Related: #6107, #6987
- 主要言語
- Shell
- スター
- 22
- フォーク
- 2
- 平均マージ
- 8時間 44分
- マージ済み PR（30日）
- 926
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
melodic-software/claude-code-plugins のほかの issue
-
status: ready
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
melodic-software/claude-code-plugins#8537 ·
メンテナーはふだん 1 日以内に返信
-
priority: medium status: confirmed
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
melodic-software/claude-code-plugins#8507 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
melodic-software/claude-code-plugins#8476 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
area: security needs-human priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
melodic-software/claude-code-plugins#8472 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
melodic-software/claude-code-plugins#8434 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
melodic-software/claude-code-plugins の issue をすべて見る
似ている issue
-
Gemini: respect PLANNING_DISABLED=1 in lifecycle context hooks対応中かも @AmariAugustin が今日担当しました。 オープンbug good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 87/100
OthmanAdi/planning-with-files#329 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 2 日以内に返信
-
headers-parser: `forRegExp` does not escape regexp characters in path segments that contain `*`対応中かも @RaphaelFakhri が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
mattpocock/skills#1307 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
vladmandic/sdnext#5161 ·
メンテナーはふだん 1 日以内に返信