krippendorff_alpha reports 1.0 instead of NaN for single-rater identical ratings
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
从 pyrit/score/scorer_evaluation/krippendorff.py 开始，检查 krippendorff_alpha，尤其是类别计数的提前返回，以及现有的无可配对评分处理。先运行 issue 中的两个 NumPy 示例。完成的标准是：每个没有可配对评分的数据集都返回 NaN，包括单个评分者给出的相同评分，同时现有的单个评分者给出不同评分时的行为仍然正确。
由索引模型根据 Issue 内容生成。
描述
what happens
krippendorff_alpha returns 1.0 (perfect agreement) when every item is rated by a single rater and all those ratings happen to be identical. with no pairable ratings the statistic is undefined, so this should be NaN like it already is for single-rater data whose ratings differ.
the cause is ordering: the num_categories == 1 early return fires before the check that no item has two usable ratings, so identical-but-unpairable data takes the perfect-agreement exit.
repro
import numpy as np
from pyrit.score.scorer_evaluation.krippendorff import krippendorff_alpha
krippendorff_alpha(np.array([[1.0, 1.0]])) # 1.0 — undefined statistic reported as perfect
krippendorff_alpha(np.array([[1.0, 2.0]])) # nan — correct
same unpairable structure, opposite answers depending on whether the values coincide.
why it matters
this feeds the reliability metrics in scorer evaluation, and single-vote gold labels are a common input (cf #2628). reporting perfect agreement from one rater's identical votes overstates reliability.
expected
NaN for any dataset with no pairable ratings, per the docstring's own undefined-statistic rule.
env: main 5503ecb
- 主要语言
- Python
- 星标
- 4.5k
- 派生
- 896
- 平均合并
- 3 天 1 小时
- 30 天内合并 PR
- 208
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
microsoft/PyRIT 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
相似的 Issue
-
good first issue
难度 2/5 1-3 小时 新手友好度 88/100
-
难度 2/5 1-3 小时 新手友好度 88/100
vllm-project/vllm-metal#822 ·
维护者通常 1 天内回复
-
vector-store
难度 1/5 1-3 小时 新手友好度 90/100
维护者通常 1 天内回复
-
[Bug]: chunk_span_bounds and _validated_chunk_spans reject Pydantic models ChunkSpan and AudioFile未关闭
难度 2/5 1-3 小时 新手友好度 78/100
BasedHardware/omi#19047 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复