Run the agent evals on a schedule and publish a tool-selection scoreboard

オープン
#270 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
25/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
活発
技術スタック
github-actions, html, markdown, typescript

調査の方向性

Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.

索引モデルが issue の本文から書いたものです。

説明

enhancement priority: medium testing

Who it's for

Maintainers, and anyone judging whether 58 tools are usable by real models.

Rationale

evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.

Approach

  • Add a weekly eval.yml using a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task.
  • Publish the results to docs/evals.html with a trend chart.
  • Add a PR label (run-evals) that triggers a run when src/tools/** descriptions change.

Done when

The page shows at least four weeks of data, and a description change PR can show its eval delta.

主要言語
TypeScript
スター
1
フォーク
4
平均マージ
14時間 8分
マージ済み PR(30日)
48

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

TMHSDigital/screencast-mcp のほかの issue

TMHSDigital/screencast-mcp の issue をすべて見る

似ている issue

TypeScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。