Author eval suite for skill `azure-rest-api-reference`
维护者通常 1 天内回复
@dawright22 已经在做这个了。
开始于 2026年5月20日。
评估
这个 Issue 还没有评估数据。
描述
Skill
azure-rest-api-reference — source: .github/skills/azure-rest-api-reference/SKILL.md
Scope
Author the eval suite at .github/evals/azure-rest-api-reference/:
-
eval.yaml— suite config (executor, model, graders) - At least 2 positive tasks under
tasks/positive-*.yaml - At least 1 negative task under
tasks/negative-*.yaml - Entry added to
.github/evals/manifest.yamlattier: expanded
Procedure
/skill-bench azure-rest-api-referencedrafts the suite from the liveSKILL.md.waza run .github/evals/azure-rest-api-reference/eval.yaml -vlocally./skill-improve azure-rest-api-referenceto iterate on graders.- Open PR.
- Mock CI runs automatically. A maintainer will dispatch a real-model run before merge.
Acceptance
- Suite runs cleanly in
mockexecutor. - At least one positive task passes in a real-model run.
- All negative tasks produce a refusal or out-of-scope acknowledgement.
-
manifest.yamlentry added; PR description includes the real-model run summary.
Conventions to follow
- Persona lock: refusal graders should accept the agent's own scope language.
- Don't add
required_skillsto askill_invocationgrader unless the skill genuinely invokes those sub-skills. - Prompt graders need
continue_session: truein their grader config.
Related
- Umbrella: #93
- Harness: #61
- 主要语言
- JavaScript
- 星标
- 270
- 派生
- 48
- 平均合并
- 2 天 12 小时
- 30 天内合并 PR
- 19
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
Azure/git-ape 的其他 Issue
-
daily-status report
难度 2/5 1 小时以内 新手友好度 5/100
维护者通常 1 天内回复
-
report workshop-coverage
难度 2/5 1-3 小时 新手友好度 20/100
维护者通常 1 天内回复
-
agentic-workflows workshop workshop-sync
难度 2/5 1-3 小时 新手友好度 1/100
维护者通常 1 天内回复
-
feat: Native Intent → Execution → Evidence foundation with optional ISEE governance可能已有人在做 @suuus 于 9 天前认领。 未关闭AI-evals documentation feature
维护者通常 1 天内回复
-
agentic-workflows
难度 4/5 3-5 天 新手友好度 25/100
维护者通常 1 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
Add: EUROTV NEWS未关闭channels:add check:passed
难度 2/5 1-3 小时 新手友好度 70/100
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 78/100
githubnext/gh-aw-workshop#4638 ·
维护者通常 1 天内回复
-
clawsweeper:fix-shape-clear clawsweeper:queueable-fix clawsweeper:source-repro impact:ux-friction issue-rating: 🦞 diamond lobster no-stale P2
难度 2/5 1-3 小时 新手友好度 65/100
openclaw/openclaw-enterprise#2571 · 1 条评论 · 1 个 reaction ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
fabriziosalmi/certmate#1247 ·
维护者通常 1 天内回复