Scorer-eval GUI drops the coverage fields the docs say to compare
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 72/100
- Issue 类型
- 功能
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- python, react, typescript
调研方向
Start with scenario_progress_read_model.py around lines 600–612 and ObjectiveScorerDetails.tsx; then check the scorer-evaluation docs at doc/code/scoring/4_scorer_metrics.py to confirm how coverage is defined. Carry num_responses and num_input_responses through the read model and show coverage with accuracy in scorer details. Done when the GUI exposes coverage so users can distinguish abstention from a perfect score.
由索引模型根据 Issue 内容生成。
描述
Scorer-eval GUI drops the coverage fields the docs say to compare
Summary
The scorer-evaluation docs (doc/code/scoring/4_scorer_metrics.py) correctly tell readers to compare num_responses against num_input_responses to see coverage, because responses with no verdict are excluded from accuracy. The exclusion itself is intended and test-pinned.
What breaks the guidance: the GUI backend read model (scenario_progress_read_model.py:600-612) drops both fields at the API boundary, and ObjectiveScorerDetails.tsx renders the masked accuracy with no way to surface a caveat.
Demonstration (real ObjectiveScorerEvaluator.evaluate_dataset_async, 10-item dataset): a scorer returning no verdict on the 3 hard items reports accuracy 1.0000 / F1 1.0000 at 7/10 coverage (identical to a perfect scorer) while an honest scorer attempting all 10 at 70% correct reports 0.7000. Abstention is strictly rewarded. The GUI cannot show why.
Suggested direction: carry num_responses / num_input_responses through the read model and render coverage alongside accuracy in the scorer-details view.
- 主要语言
- Python
- 星标
- 4.6k
- 派生
- 962
- 平均合并
- 2 天 15 小时
- 30 天内合并 PR
- 390
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
microsoft/PyRIT 的其他 Issue
-
Bug: triage
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 2 天内回复
-
BUG: Video scorers block the event loop while decoding frames and audio可能已有人在做 @Shizoqua 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 35/100
维护者通常 2 天内回复
-
BUG: HTTPTarget turns CRLF into LF in the request body可能已有人在做 @nniiovoo 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 25/100
维护者通常 2 天内回复
-
BUG: multimodal router drops media metadata when forwarding seeds and responses可能已有人在做 @Shizoqua 今天认领。 未关闭Bug: triage
难度 3/5 1-2 天 新手友好度 35/100
维护者通常 2 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
维护者通常 2 天内回复
相似的 Issue
-
Use mhctools predictor_required=False for saved-result rescoring可能已有人在做 @iskandr 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 79/100
-
难度 1/5 1 小时以内 新手友好度 85/100
521xueweihan/HelloGitHub#4051 · 1 条评论 ·
-
bug documentation
难度 2/5 1-3 小时 新手友好度 78/100
awslabs/visual-asset-management-system#514 ·
维护者通常 1 天内回复
-
backend bug spec:REQ-053
难度 2/5 1-3 小时 新手友好度 66/100
nolte/kamerplanter#2547 ·
维护者通常 1 天内回复