test(songwriting): grade eight-plus-candidates with an llm judge in the rhyme menu cases
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 40/100
- issue の種類
- リファクタリング
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- yaml
- 領域
- testing-qa
調査の方向性
Start with the eight-plus-candidates regex grader in plugins/songwriting/evals/rh-window-menu-no-winner/case.yaml and plugins/songwriting/evals/rh-release-identity-menu/case.yaml, and look at how the existing llm graders are written in the repo's other eval cases. Keep every current regex sample as a labeled sample, add the three new shapes (tier table, several candidates per list line, inline comma-separated), and calibrate the judge against them. Done when the llm grader passes all labeled samples and the eight-plus check no longer depends on line shape.
索引モデルが issue の本文から書いたものです。
説明
Observed
The eight-plus-candidates regex grader in plugins/songwriting/evals/rh-window-menu-no-winner/case.yaml and rh-release-identity-menu/case.yaml counts list lines and table rows, not candidates. A reply that offers eight or more candidates on fewer lines fails it.
In the #8431 item 2 measured pass (freeze edef3f69, Sonnet 5.5, --ablation none, 3 runs), it gave two false fails, each read in full against the reply:
- L1 (before) rh-release run 1: about 20 labeled candidates in a 4-row tier table.
- L2 (after) rh-release: 12 candidates on 3 list lines.
The grader checks a semantic count by line shape, the same pattern that made no-single-winner keep opening new edges (#12153, #12194, #12209; moved to an llm grader in #12195).
Fix wanted
Replace eight-plus-candidates in both cases with an llm grader: "the reply offers at least eight distinct rhyme candidates, however they are laid out (list, table, or inline)". Keep every current regex sample as a labeled sample, add the three shapes above (a tier table with several candidates per row, several candidates per list line, inline comma-separated candidates), and calibrate the judge on them, rather than another regex round.
Related
- #8431, #12195
- 主要言語
- Shell
- スター
- 22
- フォーク
- 2
- 平均マージ
- 1時間 38分
- マージ済み PR（30日）
- 911
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
melodic-software/claude-code-plugins のほかの issue
-
host-run priority: medium status: ready work-class: scoped
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
melodic-software/claude-code-plugins#12083 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
melodic-software/claude-code-plugins#9179 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
priority: low status: confirmed
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
melodic-software/claude-code-plugins#8799 ·
メンテナーはふだん 1 日以内に返信
-
needs-human priority: low work-class: read-only
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
melodic-software/claude-code-plugins#5696 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
rendered-views: migrate the grandfathered HTML-emitting surfaces to the convention (fleet ladder sweep + evals reconciliation) - part 1 of 3対応中かも @melodic-automation-lanes が 1 日前に担当しました。 オープンagent-ready priority: medium status: ready work-class: scoped
難易度 5/5 1週間以上 初心者へのやさしさ 18/100
melodic-software/claude-code-plugins#12296 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
melodic-software/claude-code-plugins の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
danielmiessler/LifeOS#2567 ·
メンテナーはふだん 9 日以内に返信
-
area:docs documentation good first issue priority:medium
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
PostHog/posthog-js#5524 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
paperclipai/paperclip#18671 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信