Author eval suite for skill `azure-rest-api-reference`
I maintainer di solito rispondono entro 2 giorni
@dawright22 ci sta già lavorando.
Dal 20/5/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Skill
azure-rest-api-reference — source: .github/skills/azure-rest-api-reference/SKILL.md
Scope
Author the eval suite at .github/evals/azure-rest-api-reference/:
-
eval.yaml— suite config (executor, model, graders) - At least 2 positive tasks under
tasks/positive-*.yaml - At least 1 negative task under
tasks/negative-*.yaml - Entry added to
.github/evals/manifest.yamlattier: expanded
Procedure
/skill-bench azure-rest-api-referencedrafts the suite from the liveSKILL.md.waza run .github/evals/azure-rest-api-reference/eval.yaml -vlocally./skill-improve azure-rest-api-referenceto iterate on graders.- Open PR.
- Mock CI runs automatically. A maintainer will dispatch a real-model run before merge.
Acceptance
- Suite runs cleanly in
mockexecutor. - At least one positive task passes in a real-model run.
- All negative tasks produce a refusal or out-of-scope acknowledgement.
-
manifest.yamlentry added; PR description includes the real-model run summary.
Conventions to follow
- Persona lock: refusal graders should accept the agent's own scope language.
- Don't add
required_skillsto askill_invocationgrader unless the skill genuinely invokes those sub-skills. - Prompt graders need
continue_session: truein their grader config.
Related
- Umbrella: #93
- Harness: #61
- Lingua principale
- JavaScript
- Stelle
- 270
- Fork
- 48
- Merge medio
- 3g 32m
- PR unite (30g)
- 14
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Azure/git-ape
-
daily-status report
Difficoltà 3/5 Mezza giornata Idoneità per principianti 5/100
I maintainer di solito rispondono entro 2 giorni
-
feat: Native Intent → Execution → Evidence foundation with optional ISEE governanceForse già presa @suuus l’ha presa 3 giorni fa. ApertaAI-evals documentation feature
Azure/git-ape#400 · 1 assegnatario ·
I maintainer di solito rispondono entro 2 giorni
-
agentic-workflows workshop workshop-sync
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 1/100
I maintainer di solito rispondono entro 2 giorni
-
report workshop-coverage
Difficoltà 5/5 Più di una settimana Idoneità per principianti 1/100
I maintainer di solito rispondono entro 2 giorni
-
agentic-workflows
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di Azure/git-ape
Issue simili
-
documentation good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
bug release:v5.56
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Jason-Vaughan/TangleClaw#2270 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
style-dictionary/style-dictionary#1773 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
SignalK/signalk-server#3143 ·
I maintainer di solito rispondono entro 1 giorno