test(planning): run the seven interview eval-first cases and land the rules whose case fails
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- github, shell
- 領域
- testing-qa
調査の方向性
Start with the /evals:plugin-eval Cost guidance and inspect PR #7247 to identify the seven eval cases. Run cases one or two at a time against a copy of plugins/planning outside git, then use run-validity.py and noise-report.py to review valid results; inspect kept traces for the two cases that prohibit Bash. Done means rules are added to the interview skill's context spokes only for cases that fail on main, with each change citing its result.
索引モデルが issue の本文から書いたものです。
説明
Summary
PR #7247 adds seven eval-first cases for /planning:interview behaviors, a to g: read-back of a dictated answer, active-reply final confirmation, changes-only final brief, a checkable basis and flip condition on each recommendation, the "something else" closing probe, a MoSCoW Must-test scope cut before /planning:wayfind, and one crux question on a rejected recommendation. Under Instruction economy, the rule for each case lands only if its case fails on main.
State
- All seven llm judges were calibrated against an opus judge at 100% agreement.
- The first full pass stopped at its cost ceiling (
partial: true). Five cases finished,interview-recommendation-basis-and-flipfinished partly, andinterview-scope-cut-moscowdid not run. Under the plugin-eval reading rules, a partial run's scores are not comparable, so they are not used. - Per-run cost came out well above the fresh-suite headroom estimate. Size the next pass from that pass's own
costUsd(see/evals:plugin-eval, Cost).
Fix
- Run the cases one or two at a time (
--case <name>,--runs 3,--judge-model opus,--keep-temp) on a copy ofplugins/planningoutside git, because the repository has too many linked worktrees for the CLI to screen. - Read each result with
run-validity.pyandnoise-report.py. Forfinal-confirm-active-replyandfinal-brief-changes-only, read the kept traces: those cases allow no Bash, so the Step 3 register-gate script cannot run in them. - For each case that fails on main, add its rule to the interview skill's context spokes in a PR that cites the result.
Related
- #7247
- #6986 and #7036 (the eval-first precedent)
- 主要言語
- Shell
- スター
- 22
- フォーク
- 2
- 平均マージ
- 8時間 27分
- マージ済み PR（30日）
- 957
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
melodic-software/claude-code-plugins のほかの issue
-
priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
melodic-software/claude-code-plugins#7351 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
agent-ready priority: high work-class: scoped
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
melodic-software/claude-code-plugins#7312 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
melodic-software/claude-code-plugins#7288 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
knowledge: docpage-digest dual verification defines no verdict vocabulary or pass/fail thresholdオープンneeds-human
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
melodic-software/claude-code-plugins#7286 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
melodic-software/claude-code-plugins#7282 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
melodic-software/claude-code-plugins の issue をすべて見る
似ている issue
-
e2e-failure ready-to-code
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
redhat-developer/rhdh-plugin-export-overlays#4391 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
graygarbage/HermesKey#20 ·
-
review-bot
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
midagedev/bloomery#151 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
needs-triage
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
mattpocock/skills#1269 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 2 日以内に返信