Eval scoring combines unrelated candidate fields

オープン
#48 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
54/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
活発
技術スタック
typescript
領域
testing

調査の方向性

Start with the scoring logic at src/evals/eval-scoring.ts lines 95, 1399, 1476, and 1591, then trace how candidate fields are matched and how disappeared negative sentinels are handled. Reproduce the in-memory scorer case described in the issue and check the independent field matching observation. Done means a candidate only satisfies an expectation when that same candidate matches all required fields, with negative sentinels adjudicated separately.

索引モデルが issue の本文から書いたものです。

説明

bug

Problem: In an eval with a left-path low-security candidate and a right-path high-correctness candidate, scoring merges their fields and passes a required left/high-security expectation with the right failure title even though no candidate satisfies all fields.
File:line: src/evals/eval-scoring.ts:95,1399,1476,1591.
Evidence: In-memory scorer probe; @architect checked independent field matching. Adjudicate disappeared negative sentinels separately when tightening the matcher.
Suggested fix size: M.
Found during #44 (workstream C, challenged by @architect).

主要言語
TypeScript
スター
8
フォーク
1
平均マージ
5分
マージ済み PR(30日)
2

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

0xPolygon/codegenie のほかの issue

0xPolygon/codegenie の issue をすべて見る

似ている issue

TypeScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。