Run the agent evals on a schedule and publish a tool-selection scoreboard

Aberta
#270 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
25/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
github-actions, html, markdown, typescript

Direção de pesquisa

Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

enhancement priority: medium testing

Who it's for

Maintainers, and anyone judging whether 58 tools are usable by real models.

Rationale

evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.

Approach

  • Add a weekly eval.yml using a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task.
  • Publish the results to docs/evals.html with a trend chart.
  • Add a PR label (run-evals) that triggers a run when src/tools/** descriptions change.

Done when

The page shows at least four weeks of data, and a description change PR can show its eval delta.

Linguagem predominante
TypeScript
Estrelas
1
Forks
4
Merge médio
14h 8min
PRs com merge (30d)
48

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de TMHSDigital/screencast-mcp

Todas as issues de TMHSDigital/screencast-mcp

Issues semelhantes

Mais issues de TypeScript

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.