Run the agent evals on a schedule and publish a tool-selection scoreboard

Ouverte
#270 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
25/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
github-actions, html, markdown, typescript

Piste de recherche

Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

enhancement priority: medium testing

Who it's for

Maintainers, and anyone judging whether 58 tools are usable by real models.

Rationale

evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.

Approach

  • Add a weekly eval.yml using a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task.
  • Publish the results to docs/evals.html with a trend chart.
  • Add a PR label (run-evals) that triggers a run when src/tools/** descriptions change.

Done when

The page shows at least four weeks of data, and a description change PR can show its eval delta.

Langage dominant
TypeScript
Étoiles
1
Forks
4
Merge moyen
14 h 8 min
PR mergées (30 j)
48

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de TMHSDigital/screencast-mcp

Toutes les issues de TMHSDigital/screencast-mcp

Issues similaires

Plus d'issues TypeScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.