Add a skill-triggering eval set (prompt to expected skill and MCP tool)
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 58/100
Rechercherichtung
Start by reading validate_plugin.py and the existing CI checks for skill descriptions and MCP tool references. Add evals/skill-triggers.json with at least two prompts per skill, then extend validation to check that referenced skills and tools exist. Done means the eval set passes in CI; document how to run it manually and record the hit rate when skill descriptions change.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Why it matters
Skill descriptions were rewritten as "Use when ..." triggers (closes #42), and CI now checks the wording and that every MCP tool is mentioned by a skill. Nothing checks that a real user prompt loads the right skill or leads to the right tool call.
Suggested approach
- Add
evals/skill-triggers.jsonwith 2 or 3 prompts per skill, for example{"prompt": "my game stutters every few seconds", "skill": "performance-optimization", "tool": "lookup_api"}. - Have
validate_plugin.pycheck the file's structure (every skill and tool named exists, every skill has at least one prompt). - Document how to run the set manually in Cursor (or with
claude plugin eval/ another host if one supports Cursor-style skills), and record the hit rate in the PR when descriptions change.
Done when
Every skill has at least two eval prompts and the set is validated in CI.
- Vorherrschende Sprache
- C#
- Sterne
- 4
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus TMHSDigital/Unity-Developer-Tools
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
-
ci priority: low skills
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
-
ci priority: medium testing
Schwierigkeit 4/5 1-2 Tage Anfängerfreundlichkeit 57/100
-
documentation marketing priority: medium
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
-
community documentation priority: medium
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
Alle Issues in TMHSDigital/Unity-Developer-Tools
Ähnliche Issues
-
type:task ux
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
elsa-workflows/elsa-foundation#5253 ·
Maintainer antworten meist innerhalb von 1 Tag