feature: measure the payoff — agent pass rate with vs without the pack, graded by the existing headless harness
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- Clairement spécifiée
- Activité
- Active
- Stack technique
- blender, python
- Domaine
- ai-infra-agents, documentation, testing-qa
Piste de recherche
Start by reading the existing headless grader at tests/smoke/run_example.py and the issue’s listed Blender API examples and CI versions. Then define reproducible evaluation tasks, run them with and without the plugin across versions and trials, and publish results on the landing page and README. Done means the reported pass-rate comparison includes task count, model, and date and can be reproduced from the repo.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Value
This would be the project's biggest differentiator. Nothing in the README, site or ROADMAP measures whether the pack changes agent output. The landing page claims skills cover "the mistakes AI assistants actually make", with no data. A published number turns a content pack into evidence, and answers the skeptical visitor's first question.
Why this repo is unusually well placed
It already has what most eval efforts lack:
- deterministic headless graders (
tests/smoke/run_example.py, exit-code contracts, falsifiers); - 4.5, 5.1 and 5.2 Blender CI;
- a catalog of known-hard API contracts (slotted actions, temp_override, GN interface, VSE
.strips, export axes).
Claude Code also ships claude plugin eval (plugin eval suites).
Suggested approach
- Write about 20 task prompts with graders. Examples:
- "keyframe this object's rotation using 5.2 slotted actions"
- "export to Unreal-ready glTF"
- "bevel these edges with bmesh and free it"
- "add a COLOR strip to the VSE on 5.2"
- Each run: the agent writes a script, it runs headless against a checker, and you record pass or fail.
- Run with and without the plugin, per Blender version, for a named model, N trials each.
- Publish a table on the landing page and README, and refresh it on the weekly cron (or manually, for cost).
- Use the results to prioritise skill improvements, e.g. the skill trigger-description issue.
Done when
The landing page shows "agent pass rate X% → Y% with the pack (N tasks, model, date)", and it is reproducible from the repo.
- Langage dominant
- Python
- Étoiles
- 17
- Forks
- 3
- Merge moyen
- 23 h 48 min
- PR mergées (30 j)
- 3
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de TMHSDigital/Blender-Developer-Tools
-
Weekly Blender smoke run failedOuvertebug ci priority: high
Difficulté 2/5 1-3 heures Accessibilité débutants 55/100
-
content-integrity priority: low showcase stale
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 45/100
TMHSDigital/Blender-Developer-Tools#499 · 1 commentaire ·
-
community documentation priority: high security stale
Difficulté 3/5 1-2 jours Accessibilité débutants 56/100
TMHSDigital/Blender-Developer-Tools#392 · 2 commentaires ·
-
distribution documentation priority: high stale
Difficulté 4/5 1-2 jours Accessibilité débutants 62/100
TMHSDigital/Blender-Developer-Tools#348 · 1 commentaire ·
Toutes les issues de TMHSDigital/Blender-Developer-Tools
Issues similaires
-
hive size:simple
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour
-
A new VOLTTRON_HOME starts with agent isolation mode on (string comparison of a boolean default)Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
painted-porch/marcus#977 ·
Les mainteneurs répondent en général sous 1 jour
-
llm translation
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
FAIRmat-NFDI/sand#239 ·
Les mainteneurs répondent en général sous 1 jour