test(work-items): triage eval 20 prompt should state that needs-human and work-class: untrusted-provenance exist
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 76/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- json, shell
调研方向
打开 plugins/work-items/skills/triage/evals/evals.json 的案例 20，并检查其他期望 needs-human 和 work-class: untrusted-provenance 标签的案例。只更新案例 20 的提示，说明四个标签都存在，并保持预期输出和预期内容不变。运行 /skill-quality:check validate-evals triage；验证通过且插件评估结果已记录或标记为目前尚无法完成时，即为完成。
由索引模型根据 Issue 内容生成。
描述
Problem
Triage eval case 20 (triage-signal-marker-applies-provenance-label, plugins/work-items/skills/triage/evals/evals.json:278) expects the outcome edit to apply work-class: untrusted-provenance and needs-human. Its prompt states only that "the labels provenance: signal and status: confirmed exist".
plugins/work-items/skills/triage/context/apply-outcome.md:44 requires a preflight before any autonomous-eligible outcome: verify all five canonical labels exist, and "if any are missing, stop without mutating and report remediation". The signal-marker paragraph (line 46) extends the preflight to work-class: untrusted-provenance ("when the repository lacks it, stop without mutating and report the provisioning gap"), and the status/provenance preflight (line 75) says to stop without mutating anything when a label is absent. A model that follows the preflight strictly, given a prompt that never says needs-human and work-class: untrusted-provenance exist, can stop on the missing-label branch instead of applying the C5 rule the case tests. The case would then fail for a reason unrelated to what it measures.
Fix
Add to case 20's prompt that the needs-human and work-class: untrusted-provenance labels exist, alongside the two labels already named. Leave expected_output and expectations unchanged. Check other cases that expect these labels for the same omission.
Done when
- Case 20's prompt names all four labels the outcome edit touches as existing.
/skill-quality:check validate-evals triagepasses.- A plugin-eval run of case 20 shows the model applying the C5 outcome rather than stopping on the preflight (or the run is recorded as not yet possible).
Refs: #7009
- 主要语言
- Shell
- 星标
- 22
- 派生
- 2
- 平均合并
- 8 小时 27 分钟
- 30 天内合并 PR
- 957
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
melodic-software/claude-code-plugins 的其他 Issue
-
priority: medium
难度 2/5 1-3 小时 新手友好度 68/100
melodic-software/claude-code-plugins#7351 · 2 条评论 ·
维护者通常 1 天内回复
-
agent-ready priority: high work-class: scoped
难度 2/5 1-3 小时 新手友好度 74/100
melodic-software/claude-code-plugins#7312 · 3 条评论 ·
维护者通常 1 天内回复
-
priority: medium
难度 2/5 1-3 小时 新手友好度 76/100
melodic-software/claude-code-plugins#7288 · 2 条评论 ·
维护者通常 1 天内回复
-
knowledge: docpage-digest dual verification defines no verdict vocabulary or pass/fail threshold未关闭needs-human
难度 2/5 1-3 小时 新手友好度 78/100
melodic-software/claude-code-plugins#7286 · 2 条评论 ·
维护者通常 1 天内回复
-
priority: low
难度 2/5 1-3 小时 新手友好度 76/100
melodic-software/claude-code-plugins#7282 · 2 条评论 ·
维护者通常 1 天内回复
查看 melodic-software/claude-code-plugins 的全部 Issue
相似的 Issue
-
e2e-failure ready-to-code
难度 2/5 1-3 小时 新手友好度 72/100
redhat-developer/rhdh-plugin-export-overlays#4391 · 1 条评论 ·
维护者通常 1 天内回复
-
documentation good first issue
难度 2/5 1-3 小时 新手友好度 72/100
graygarbage/HermesKey#20 ·
-
check-unsafe: source read errors become successful zero counts可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭review-bot
难度 2/5 1-3 小时 新手友好度 72/100
midagedev/bloomery#151 · 1 条评论 ·
维护者通常 1 天内回复
-
needs-triage
难度 1/5 1 小时以内 新手友好度 85/100
mattpocock/skills#1269 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 2 天内回复