Failed review runs pass negative evals
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- typescript
- 領域
- testing-qa
調査の方向性
Read src/evals/eval-runner.ts at lines 487 and 576, src/evals/eval-scoring.ts at line 69, and src/cli/main.ts at line 50; compare how live evals handle failed run health with the CLI. The probe described in the issue uses a failed run.json outcome, exit code 1, and zero findings. Preserve retained findings and report failed samples separately; the aggregate policy for mixed valid and failed draws still needs a decision.
索引モデルが issue の本文から書いたものです。
説明
Problem: Both live eval paths ignore review health. A well-formed zero-finding negative eval with run.json outcome failed and exit code 1 scores as pass. Preserve retained findings and report the failed sample separately; aggregate policy for mixed valid and failed draws needs a decision.
File:line: src/evals/eval-runner.ts:487,576; src/evals/eval-scoring.ts:69; src/cli/main.ts:50.
Evidence: Probe with failed run health and zero findings; CLI honors failed health.
Suggested fix size: S.
Found during #44 (workstream C, challenged by @architect).
- 主要言語
- TypeScript
- スター
- 8
- フォーク
- 1
- 平均マージ
- 5分
- マージ済み PR(30日)
- 2
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
0xPolygon/codegenie のほかの issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
0xPolygon/codegenie の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
liberation-data/drivine#826 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
zhitongblog/solomd#623 ·
メンテナーはふだん 1 日以内に返信
-
aufwand: klein documentation Einsteiger-Familie freigegeben Haushalts-Admin
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
enhancement frontend
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
openwallet-foundation/eudiplo#1600 ·
-
docs(website): add a GitLab CI/CD button next to the GitHub Action button on the homepage対応中かも @shryssssss-maker が今日担当しました。 オープンdocumentation enhancement first-timers-only good first issue
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
OWASP/cve-lite-cli#1739 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信