Run the agent evals on a schedule and publish a tool-selection scoreboard
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Ativa
- Stack de tecnologia
- github-actions, html, markdown, typescript
- Domínio
- devops, observability-sre
Direção de pesquisa
Start with evals/anthropic.ts and evals/tasks.ts to see how the eval runs are defined and what they record. Then look at the existing workflows under .github/workflows/ to model eval.yml on them. The work needs a repository secret for the API key, a publish step to docs/evals.html, and a PR label trigger. Done means the page shows four weeks of trend data and a description-change PR shows an eval delta.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Who it's for
Maintainers, and anyone judging whether 58 tools are usable by real models.
Rationale
evals/anthropic.ts and evals/tasks.ts (redact-api-key, verify-button-green, and others) exist, but no workflow runs them. Changes to tool descriptions and toolsets (#214) go unmeasured.
Approach
- Add a weekly
eval.ymlusing a repository secret for the API key. It records tool-selection accuracy, pass rate, tokens and tool-call count per model and task. - Publish the results to
docs/evals.htmlwith a trend chart. - Add a PR label (
run-evals) that triggers a run whensrc/tools/**descriptions change.
Done when
The page shows at least four weeks of data, and a description change PR can show its eval delta.
- Linguagem predominante
- TypeScript
- Estrelas
- 1
- Forks
- 4
- Merge médio
- 14h 8min
- PRs com merge (30d)
- 48
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de TMHSDigital/screencast-mcp
-
effort: small good first issue priority: medium testing
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
TMHSDigital/screencast-mcp#351 ·
Mantenedores costumam responder em até 1 dia
-
bug effort: small priority: medium
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
TMHSDigital/screencast-mcp#344 ·
Mantenedores costumam responder em até 1 dia
-
bug effort: small good first issue priority: medium
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
TMHSDigital/screencast-mcp#343 ·
Mantenedores costumam responder em até 1 dia
-
effort: medium help wanted priority: medium testing
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 76/100
TMHSDigital/screencast-mcp#350 ·
Mantenedores costumam responder em até 1 dia
-
effort: medium priority: medium testing
Dificuldade 4/5 1-2 dias Facilidade para iniciantes 70/100
TMHSDigital/screencast-mcp#349 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de TMHSDigital/screencast-mcp
Issues semelhantes
-
clawsweeper:fix-shape-clear clawsweeper:queueable-fix clawsweeper:source-repro impact:ux-friction issue-rating: 🦞 diamond lobster no-stale P3
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
openclaw/openclaw#200365 · 1 comentário · 1 reação ·
Mantenedores costumam responder em até 1 dia
-
area-templates triage:bot-seen triage:needs-human
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
microsoft/aspire#22356 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Archiving an agent that is not loaded keeps its old updatedAtTalvez já em andamento @luoph assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
Mantenedores costumam responder em até 1 dia
-
content triage
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
Mantenedores costumam responder em até 1 dia