Run the agent evals on a schedule and publish a tool-selection scoreboard
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- github-actions, html, markdown, typescript
- Lĩnh vực
- devops, observability-sre
Hướng nghiên cứu
Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Who it's for
Maintainers, and anyone judging whether 58 tools are usable by real models.
Rationale
evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.
Approach
- Add a weekly
eval.ymlusing a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task. - Publish the results to
docs/evals.htmlwith a trend chart. - Add a PR label (
run-evals) that triggers a run whensrc/tools/**descriptions change.
Done when
The page shows at least four weeks of data, and a description change PR can show its eval delta.
- Ngôn ngữ chính
- TypeScript
- Star
- 1
- Fork
- 4
- Merge trung bình
- 14 giờ 8 phút
- Pull request đã merge (30 ngày)
- 48
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của TMHSDigital/screencast-mcp
-
effort: small good first issue priority: medium testing
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
TMHSDigital/screencast-mcp#351 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug effort: small priority: medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
TMHSDigital/screencast-mcp#344 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug effort: small good first issue priority: medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
TMHSDigital/screencast-mcp#343 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
effort: medium help wanted priority: medium testing
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 76/100
TMHSDigital/screencast-mcp#350 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
effort: medium priority: medium testing
Độ khó 4/5 1-2 ngày Mức phù hợp với người mới 70/100
TMHSDigital/screencast-mcp#349 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của TMHSDigital/screencast-mcp
Issue tương tự
-
clawsweeper:fix-shape-clear clawsweeper:queueable-fix clawsweeper:source-repro impact:ux-friction issue-rating: 🦞 diamond lobster no-stale P3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
openclaw/openclaw#200365 · 1 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area-templates triage:bot-seen triage:needs-human
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
microsoft/aspire#22356 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Archiving an agent that is not loaded keeps its old updatedAtCó thể đã có người làm @luoph đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
content triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày