Run the agent evals on a schedule and publish a tool-selection scoreboard
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- github-actions, html, markdown, typescript
- Domaine
- devops, observability-sre
Piste de recherche
Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Who it's for
Maintainers, and anyone judging whether 58 tools are usable by real models.
Rationale
evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.
Approach
- Add a weekly
eval.ymlusing a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task. - Publish the results to
docs/evals.htmlwith a trend chart. - Add a PR label (
run-evals) that triggers a run whensrc/tools/**descriptions change.
Done when
The page shows at least four weeks of data, and a description change PR can show its eval delta.
- Langage dominant
- TypeScript
- Étoiles
- 1
- Forks
- 4
- Merge moyen
- 14 h 8 min
- PR mergées (30 j)
- 48
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de TMHSDigital/screencast-mcp
-
effort: small good first issue priority: medium testing
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
TMHSDigital/screencast-mcp#351 ·
Les mainteneurs répondent en général sous 1 jour
-
bug effort: small priority: medium
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
TMHSDigital/screencast-mcp#344 ·
Les mainteneurs répondent en général sous 1 jour
-
bug effort: small good first issue priority: medium
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
TMHSDigital/screencast-mcp#343 ·
Les mainteneurs répondent en général sous 1 jour
-
effort: medium help wanted priority: medium testing
Difficulté 3/5 1-2 jours Accessibilité débutants 76/100
TMHSDigital/screencast-mcp#350 ·
Les mainteneurs répondent en général sous 1 jour
-
effort: medium priority: medium testing
Difficulté 4/5 1-2 jours Accessibilité débutants 70/100
TMHSDigital/screencast-mcp#349 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de TMHSDigital/screencast-mcp
Issues similaires
-
clawsweeper:fix-shape-clear clawsweeper:queueable-fix clawsweeper:source-repro impact:ux-friction issue-rating: 🦞 diamond lobster no-stale P3
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
openclaw/openclaw#200365 · 1 commentaire · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
area-templates triage:bot-seen triage:needs-human
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
microsoft/aspire#22356 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Archiving an agent that is not loaded keeps its old updatedAtPeut-être pris @luoph l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 1 jour
-
content triage
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour