test(source-control): calibrate the four llm graders in the source-control eval suite
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- markdown, shell
- 領域
- testing-qa
調査の方向性
Read the /evals:plugin-eval skill and inspect the four grader files and their labeled samples under the source-control eval suite. First resolve dependency #6547, then use plugins/evals/skills/plugin-eval/scripts/calibrate-judge.py build and score across the suite. Record paid-run agreement for each grader; fix or remove any below the skill's stated bar and rerun.
索引モデルが issue の本文から書いたものです。
説明
Observed
The source-control eval suite has four type: llm graders, and none has a calibration result:
| case | grader | labeled samples |
|---|---|---|
| commit-never-stage-everything | wildcard-risk-named | none (no samples/ dir) |
| resolve-conflicts-bare-prompt-recovers-intent-from-history | up-intents-and-drops-named | yes |
| resolve-conflicts-rebase-composes-rename-and-new-option | up-nothing-invented | yes |
| resolve-conflicts-refuses-bulk-ours-and-abort | justified-per-file | yes |
An uncalibrated judge's verdicts carry unknown error, so eval deltas on these cases (#6939, #7070, #6941) rest partly on an unmeasured grader.
calibrate-judge.py build (plugins/evals/skills/plugin-eval/scripts/) is the calibration tool. At least justified-per-file's samples hold a markdown table rule (|---|), which hits #6547: build writes frontmatter the CLI refuses, so that grader cannot be calibrated until #6547 is fixed.
Fix wanted
- Add labeled pass/fail samples for
commit-never-stage-everything/graders/wildcard-risk-named.md(format: the other cases'samples/<grader>.json). - After #6547 lands, run
calibrate-judge buildthenscoreover the source-control suite (see /evals:plugin-eval) and record per-grader agreement. - Rewrite any grader whose agreement with its labels is poor, and re-run.
Acceptance: each of the four graders has a recorded calibration score from a paid run, and any grader below the bar the plugin-eval skill names is fixed or removed.
Depends on: #6547
- 主要言語
- Shell
- スター
- 22
- フォーク
- 2
- 平均マージ
- 7時間 42分
- マージ済み PR（30日）
- 923
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
melodic-software/claude-code-plugins のほかの issue
-
priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
melodic-software/claude-code-plugins#7351 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: high
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
melodic-software/claude-code-plugins#7312 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
melodic-software/claude-code-plugins#7288 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
knowledge: docpage-digest dual verification defines no verdict vocabulary or pass/fail thresholdオープンneeds-human
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
melodic-software/claude-code-plugins#7286 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
melodic-software/claude-code-plugins#7282 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
melodic-software/claude-code-plugins の issue をすべて見る
似ている issue
-
Laptop display stays disabled after unplugging external monitor: FALLBACK output counted as externalオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
-
[Bug]: Three default prefs with JSON values are never set (override.sh escapes their quotes twice)オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
Floorp-Projects/Floorp#2913 ·
メンテナーはふだん 1 日以内に返信
-
agent-butler-finding agent-research-recommend bug ready-for-agent
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
jordansmall/spindrift#5258 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信