Eval judge fails outputs that pass every listed condition
まだ誰も着手していません。
評価
調査の方向性
Start with the case files under evals/cases/, especially developer-profile--1-normal (case-criteria) and launch-announcement--3-adversarial, and read evals/README.md for how the judge is described. Run claude plugin eval on developer-profile--1-normal and compare what the judge receives (last_message versus the full answer, plus the prompt framing) with a direct grading request. Done means either the criteria are corrected so the judge's verdicts match, or the limitation is documented in evals/README.md.
索引モデルが issue の本文から書いたものです。
説明
developer-profile--1-normal fails case-criteria consistently (4/4 runs), but asking Sonnet directly to grade the same output against the same criteria returns PASS on every condition. launch-announcement--3-adversarial (honesty grader) may be similar.
Help wanted: figure out what the claude plugin eval LLM judge sees differently (e.g. last_message vs the full answer, prompt framing), and either fix the criteria in evals/cases/ or document the limitation in evals/README.md.
- 主要言語
- Python
- スター
- 0
- フォーク
- 1
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
devanathsugavasi/devreach のほかの issue
-
help wanted tooling
難易度 2/5 半日 初心者へのやさしさ 70/100
devanathsugavasi/devreach#10 ·
-
evals good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
-
documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
evals help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
bug evals good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
devanathsugavasi/devreach の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
btclib-org/btclib-node#2083 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
Gathin23/cleanyourtv#2089 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
jxxghp/MoviePilot#7212 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
cli dx rust
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
NekomyaDev/nudge#278 ·
メンテナーはふだん 1 日以内に返信