BUG General self-ask scorers crash when the judge returns a category
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start by locating SelfAskGeneralFloatScaleScorer, SelfAskGeneralTrueFalseScorer, and their JsonSchemaResponseHandler construction. Review the existing response-category handling and related scorer tests, then verify that these two scorers use the response category as the fallback rule describes while other handlers retain the current error behavior.
由索引模型根据 Issue 内容生成。
描述
SelfAskGeneralFloatScaleScorer and SelfAskGeneralTrueFalseScorer crash when the judge returns a category and the scorer also has one configured.
Both docstrings say a category in the response is used, and the configured one only applies when the response has none. But they build a JsonSchemaResponseHandler that raises ValueError("Category is present in the response and an argument") when both are present. That isn't an InvalidJsonException, so there's no retry and scoring fails after one call:
category="harm", response {"score_value": "true", "rationale": "r", "category": "violence"}
-> RuntimeError ... ValueError: Category is present in the response and an argument (target calls: 1)
Fix: let these two scorers opt into "response category wins, configured is the fallback". Other handlers and scorers keep the current error.
- 主要语言
- Python
- 星标
- 4.5k
- 派生
- 896
- 平均合并
- 2 天 22 小时
- 30 天内合并 PR
- 230
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README,通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
microsoft/PyRIT 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 86/100
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 2 天内回复
-
Bug: triage GUI help wanted
难度 2/5 1-3 小时 新手友好度 86/100
microsoft/PyRIT#2868 · 1 条评论 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 2 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 85/100
mozilla/bedrock#17413 · 1 个 reaction ·
维护者通常 2 天内回复
-
instance instance add
难度 2/5 1-3 小时 新手友好度 68/100
searxng/searx-instances#943 · 1 条评论 ·
-
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
bug tools
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 86/100
lance-format/lance#9655 ·
维护者通常 2 天内回复