feature: measure the payoff — agent pass rate with vs without the pack, graded by the existing headless harness
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- blender, python
- Ambito
- ai-infra-agents, documentation, testing-qa
Direzione di ricerca
Start by reading the existing headless grader at tests/smoke/run_example.py and the issue’s listed Blender API examples and CI versions. Then define reproducible evaluation tasks, run them with and without the plugin across versions and trials, and publish results on the landing page and README. Done means the reported pass-rate comparison includes task count, model, and date and can be reproduced from the repo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Value
This would be the project's biggest differentiator. Nothing in the README, site or ROADMAP measures whether the pack changes agent output. The landing page claims skills cover "the mistakes AI assistants actually make", with no data. A published number turns a content pack into evidence, and answers the skeptical visitor's first question.
Why this repo is unusually well placed
It already has what most eval efforts lack:
- deterministic headless graders (
tests/smoke/run_example.py, exit-code contracts, falsifiers); - 4.5, 5.1 and 5.2 Blender CI;
- a catalog of known-hard API contracts (slotted actions, temp_override, GN interface, VSE
.strips, export axes).
Claude Code also ships claude plugin eval (plugin eval suites).
Suggested approach
- Write about 20 task prompts with graders. Examples:
- "keyframe this object's rotation using 5.2 slotted actions"
- "export to Unreal-ready glTF"
- "bevel these edges with bmesh and free it"
- "add a COLOR strip to the VSE on 5.2"
- Each run: the agent writes a script, it runs headless against a checker, and you record pass or fail.
- Run with and without the plugin, per Blender version, for a named model, N trials each.
- Publish a table on the landing page and README, and refresh it on the weekly cron (or manually, for cost).
- Use the results to prioritise skill improvements, e.g. the skill trigger-description issue.
Done when
The landing page shows "agent pass rate X% → Y% with the pack (N tasks, model, date)", and it is reproducible from the repo.
- Lingua principale
- Python
- Stelle
- 17
- Fork
- 3
- Merge medio
- 23h 48m
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di TMHSDigital/Blender-Developer-Tools
-
bug ci priority: high
Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100
-
content-integrity priority: low showcase stale
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
TMHSDigital/Blender-Developer-Tools#499 · 1 commento ·
-
community documentation priority: high security stale
Difficoltà 3/5 1-2 giorni Idoneità per principianti 56/100
TMHSDigital/Blender-Developer-Tools#392 · 2 commenti ·
-
distribution documentation priority: high stale
Difficoltà 4/5 1-2 giorni Idoneità per principianti 62/100
TMHSDigital/Blender-Developer-Tools#348 · 1 commento ·
Tutte le issue di TMHSDigital/Blender-Developer-Tools
Issue simili
-
hive size:simple
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
A new VOLTTRON_HOME starts with agent isolation mode on (string comparison of a boolean default)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
painted-porch/marcus#977 ·
I maintainer di solito rispondono entro 1 giorno
-
llm translation
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
FAIRmat-NFDI/sand#239 ·
I maintainer di solito rispondono entro 1 giorno