feat(evals): automated eval runner with hit, miss and false-positive scoring
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 56/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- javascript, node.js
调研方向
Start by reading the existing eval fixtures, their expected.md files, and evals/README.md; the issue does not name specific files beyond those paths. Define the machine-readable finding format and how fixture reports are scored, then add a runner that launches fixture sessions in parallel with a timeout. Done means it reports hit, partial, miss, and false positive totals, exits non-zero for missed required findings, and documents the runner while retaining the manual fallback.
由索引模型根据 Issue 内容生成。
描述
What
Evals are run by hand today: one headless claude -p session per fixture, then each report is read against expected.md and scored by eye.
Why
Hand scoring is slow and drifts between runs, so a regression in SKILL.md or a reference can slip through a release.
Acceptance criteria
-
npm run eval(ornode evals/run.mjs) starts one session per fixture in parallel with--plugin-dirand a timeout. - Each
expected.mdgains a machine-readable block (file, line range, grade, keywords) for must, should, acceptable and must-not findings. - The runner prints hit / partial / miss / false positive per fixture and a total, and exits non-zero when a required finding is missed.
- evals/README.md documents the runner; the manual steps stay as a fallback.
- 主要语言
- JavaScript
- 星标
- 0
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
devmaxxx/stackwise 的其他 Issue
-
enhancement good first issue
难度 2/5 1-3 小时 新手友好度 68/100
-
enhancement
难度 3/5 1-2 天 新手友好度 55/100
-
enhancement
难度 3/5 1-2 天 新手友好度 68/100
-
bug eval
难度 3/5 1-2 天 新手友好度 66/100
-
bug
难度 3/5 1-2 天 新手友好度 55/100
查看 devmaxxx/stackwise 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 88/100
micromatch/picomatch#243 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 70/100
b310-digital/teammapper#1515 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 64/100
c1overzz/dsh-bili-scroll#153 ·
维护者通常 1 天内回复
-
01 type: bug 21 status: confirmed 41 lvl: easy 62 scope: viewer
难度 1/5 1 小时以内 新手友好度 90/100
维护者通常 1 天内回复