Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Author eval suite for skill `azure-rest-api-reference`

Đang mở
  • Có gì không ổn?
#97 0 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

@dawright22 đang làm issue này rồi.

Từ ngày 20/5/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

AI-evals enhancement good first issue

Skill

azure-rest-api-reference — source: .github/skills/azure-rest-api-reference/SKILL.md

Scope

Author the eval suite at .github/evals/azure-rest-api-reference/:

  • eval.yaml — suite config (executor, model, graders)
  • At least 2 positive tasks under tasks/positive-*.yaml
  • At least 1 negative task under tasks/negative-*.yaml
  • Entry added to .github/evals/manifest.yaml at tier: expanded

Procedure

  1. /skill-bench azure-rest-api-reference drafts the suite from the live SKILL.md.
  2. waza run .github/evals/azure-rest-api-reference/eval.yaml -v locally.
  3. /skill-improve azure-rest-api-reference to iterate on graders.
  4. Open PR.
  5. Mock CI runs automatically. A maintainer will dispatch a real-model run before merge.

Acceptance

  • Suite runs cleanly in mock executor.
  • At least one positive task passes in a real-model run.
  • All negative tasks produce a refusal or out-of-scope acknowledgement.
  • manifest.yaml entry added; PR description includes the real-model run summary.

Conventions to follow

  • Persona lock: refusal graders should accept the agent's own scope language.
  • Don't add required_skills to a skill_invocation grader unless the skill genuinely invokes those sub-skills.
  • Prompt graders need continue_session: true in their grader config.

Related

  • Umbrella: #93
  • Harness: #61
Ngôn ngữ chính
JavaScript
Star
270
Fork
48
Merge trung bình
3 ngày 2 giờ
Pull request đã merge (30 ngày)
15

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Azure/git-ape

Tất cả issue của Azure/git-ape

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.