Add a skill-triggering eval set (prompt to expected skill and MCP tool)
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 58/100
Piste de recherche
Start by reading validate_plugin.py and the existing CI checks for skill descriptions and MCP tool references. Add evals/skill-triggers.json with at least two prompts per skill, then extend validation to check that referenced skills and tools exist. Done means the eval set passes in CI; document how to run it manually and record the hit rate when skill descriptions change.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Why it matters
Skill descriptions were rewritten as "Use when ..." triggers (closes #42), and CI now checks the wording and that every MCP tool is mentioned by a skill. Nothing checks that a real user prompt loads the right skill or leads to the right tool call.
Suggested approach
- Add
evals/skill-triggers.jsonwith 2 or 3 prompts per skill, for example{"prompt": "my game stutters every few seconds", "skill": "performance-optimization", "tool": "lookup_api"}. - Have
validate_plugin.pycheck the file's structure (every skill and tool named exists, every skill has at least one prompt). - Document how to run the set manually in Cursor (or with
claude plugin eval/ another host if one supports Cursor-style skills), and record the hit rate in the PR when descriptions change.
Done when
Every skill has at least two eval prompts and the set is validated in CI.
- Langage dominant
- C#
- Étoiles
- 4
- Forks
- 0
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de TMHSDigital/Unity-Developer-Tools
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
-
ci priority: low skills
Difficulté 3/5 1-2 jours Accessibilité débutants 55/100
-
ci priority: medium testing
Difficulté 4/5 1-2 jours Accessibilité débutants 57/100
-
documentation marketing priority: medium
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
-
community documentation priority: medium
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
Toutes les issues de TMHSDigital/Unity-Developer-Tools
Issues similaires
-
type:task ux
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
elsa-workflows/elsa-foundation#5253 ·
Les mainteneurs répondent en général sous 1 jour