Run the agent evals on a schedule and publish a tool-selection scoreboard
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- github-actions, html, markdown, typescript
調査の方向性
Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.
索引モデルが issue の本文から書いたものです。
説明
Who it's for
Maintainers, and anyone judging whether 58 tools are usable by real models.
Rationale
evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.
Approach
- Add a weekly
eval.ymlusing a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task. - Publish the results to
docs/evals.htmlwith a trend chart. - Add a PR label (
run-evals) that triggers a run whensrc/tools/**descriptions change.
Done when
The page shows at least four weeks of data, and a description change PR can show its eval delta.
- 主要言語
- TypeScript
- スター
- 1
- フォーク
- 4
- 平均マージ
- 14時間 8分
- マージ済み PR(30日)
- 48
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
TMHSDigital/screencast-mcp のほかの issue
-
effort: small good first issue priority: medium testing
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
TMHSDigital/screencast-mcp#351 ·
メンテナーはふだん 1 日以内に返信
-
bug effort: small priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
TMHSDigital/screencast-mcp#344 ·
メンテナーはふだん 1 日以内に返信
-
bug effort: small good first issue priority: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
TMHSDigital/screencast-mcp#343 ·
メンテナーはふだん 1 日以内に返信
-
effort: medium help wanted priority: medium testing
難易度 3/5 1〜2日 初心者へのやさしさ 76/100
TMHSDigital/screencast-mcp#350 ·
メンテナーはふだん 1 日以内に返信
-
effort: medium priority: medium testing
難易度 4/5 1〜2日 初心者へのやさしさ 70/100
TMHSDigital/screencast-mcp#349 ·
メンテナーはふだん 1 日以内に返信
TMHSDigital/screencast-mcp の issue をすべて見る
似ている issue
-
clawsweeper:fix-shape-clear clawsweeper:queueable-fix clawsweeper:source-repro impact:ux-friction issue-rating: 🦞 diamond lobster no-stale P3
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
openclaw/openclaw#200365 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
area-templates triage:bot-seen triage:needs-human
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
microsoft/aspire#22356 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Archiving an agent that is not loaded keeps its old updatedAt対応中かも @luoph が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
content triage
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信