Add a skill-triggering eval set (prompt to expected skill and MCP tool)

Aberta
#55 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
3/5
Tempo estimado
1-2 dias
Facilidade para iniciantes
58/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
csharp, github-actions, json
Domínio
devtools, testing

Direção de pesquisa

Start by reading validate_plugin.py and the existing CI checks for skill descriptions and MCP tool references. Add evals/skill-triggers.json with at least two prompts per skill, then extend validation to check that referenced skills and tools exist. Done means the eval set passes in CI; document how to run it manually and record the hit rate when skill descriptions change.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

good first issue skills testing

Why it matters

Skill descriptions were rewritten as "Use when ..." triggers (closes #42), and CI now checks the wording and that every MCP tool is mentioned by a skill. Nothing checks that a real user prompt loads the right skill or leads to the right tool call.

Suggested approach

  • Add evals/skill-triggers.json with 2 or 3 prompts per skill, for example {"prompt": "my game stutters every few seconds", "skill": "performance-optimization", "tool": "lookup_api"}.
  • Have validate_plugin.py check the file's structure (every skill and tool named exists, every skill has at least one prompt).
  • Document how to run the set manually in Cursor (or with claude plugin eval / another host if one supports Cursor-style skills), and record the hit rate in the PR when descriptions change.

Done when

Every skill has at least two eval prompts and the set is validated in CI.

Linguagem predominante
C#
Estrelas
4
Forks
0
Métricas de merge de PRs
Nenhum PR com merge em 30d

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de TMHSDigital/Unity-Developer-Tools

Todas as issues de TMHSDigital/Unity-Developer-Tools

Issues semelhantes

Mais issues de C#

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.