Eval scoring combines unrelated candidate fields
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 54/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- typescript
- 領域
- testing
調査の方向性
Start with the scoring logic at src/evals/eval-scoring.ts lines 95, 1399, 1476, and 1591, then trace how candidate fields are matched and how disappeared negative sentinels are handled. Reproduce the in-memory scorer case described in the issue and check the independent field matching observation. Done means a candidate only satisfies an expectation when that same candidate matches all required fields, with negative sentinels adjudicated separately.
索引モデルが issue の本文から書いたものです。
説明
Problem: In an eval with a left-path low-security candidate and a right-path high-correctness candidate, scoring merges their fields and passes a required left/high-security expectation with the right failure title even though no candidate satisfies all fields.
File:line: src/evals/eval-scoring.ts:95,1399,1476,1591.
Evidence: In-memory scorer probe; @architect checked independent field matching. Adjudicate disappeared negative sentinels separately when tightening the matcher.
Suggested fix size: M.
Found during #44 (workstream C, challenged by @architect).
- 主要言語
- TypeScript
- スター
- 8
- フォーク
- 1
- 平均マージ
- 5分
- マージ済み PR(30日)
- 2
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
0xPolygon/codegenie のほかの issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
0xPolygon/codegenie の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
AloisSeckar/elrh-cosca#36 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
cursor/community-plugins#572 ·
メンテナーはふだん 1 日以内に返信
-
[Plugin] calendarオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
MUKE-coder/grit#228 ·
-
bug status:needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
dongdongbh/Mindwtr#1587 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
nuxt/icon#585 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信