Add a skill-triggering eval set (prompt to expected skill and MCP tool)
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 58/100
Direção de pesquisa
Start by reading validate_plugin.py and the existing CI checks for skill descriptions and MCP tool references. Add evals/skill-triggers.json with at least two prompts per skill, then extend validation to check that referenced skills and tools exist. Done means the eval set passes in CI; document how to run it manually and record the hit rate when skill descriptions change.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Why it matters
Skill descriptions were rewritten as "Use when ..." triggers (closes #42), and CI now checks the wording and that every MCP tool is mentioned by a skill. Nothing checks that a real user prompt loads the right skill or leads to the right tool call.
Suggested approach
- Add
evals/skill-triggers.jsonwith 2 or 3 prompts per skill, for example{"prompt": "my game stutters every few seconds", "skill": "performance-optimization", "tool": "lookup_api"}. - Have
validate_plugin.pycheck the file's structure (every skill and tool named exists, every skill has at least one prompt). - Document how to run the set manually in Cursor (or with
claude plugin eval/ another host if one supports Cursor-style skills), and record the hit rate in the PR when descriptions change.
Done when
Every skill has at least two eval prompts and the set is validated in CI.
- Linguagem predominante
- C#
- Estrelas
- 4
- Forks
- 0
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de TMHSDigital/Unity-Developer-Tools
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
-
ci priority: low skills
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
-
ci priority: medium testing
Dificuldade 4/5 1-2 dias Facilidade para iniciantes 57/100
-
documentation marketing priority: medium
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
-
community documentation priority: medium
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
Todas as issues de TMHSDigital/Unity-Developer-Tools
Issues semelhantes
-
type:task ux
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
elsa-workflows/elsa-foundation#5253 ·
Mantenedores costumam responder em até 1 dia