Run the agent evals on a schedule and publish a tool-selection scoreboard

Đang mở
#270 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, html, markdown, typescript
Lĩnh vực
devops, observability-sre

Hướng nghiên cứu

Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement priority: medium testing

Who it's for

Maintainers, and anyone judging whether 58 tools are usable by real models.

Rationale

evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.

Approach

  • Add a weekly eval.yml using a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task.
  • Publish the results to docs/evals.html with a trend chart.
  • Add a PR label (run-evals) that triggers a run when src/tools/** descriptions change.

Done when

The page shows at least four weeks of data, and a description change PR can show its eval delta.

Ngôn ngữ chính
TypeScript
Star
1
Fork
4
Merge trung bình
14 giờ 8 phút
Pull request đã merge (30 ngày)
48

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của TMHSDigital/screencast-mcp

Tất cả issue của TMHSDigital/screencast-mcp

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.