feature: measure the payoff — agent pass rate with vs without the pack, graded by the existing headless harness
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- blender, python
調査の方向性
Start by reading the existing headless grader at tests/smoke/run_example.py and the issue’s listed Blender API examples and CI versions. Then define reproducible evaluation tasks, run them with and without the plugin across versions and trials, and publish results on the landing page and README. Done means the reported pass-rate comparison includes task count, model, and date and can be reproduced from the repo.
索引モデルが issue の本文から書いたものです。
説明
Value
This would be the project's biggest differentiator. Nothing in the README, site or ROADMAP measures whether the pack changes agent output. The landing page claims skills cover "the mistakes AI assistants actually make", with no data. A published number turns a content pack into evidence, and answers the skeptical visitor's first question.
Why this repo is unusually well placed
It already has what most eval efforts lack:
- deterministic headless graders (
tests/smoke/run_example.py, exit-code contracts, falsifiers); - 4.5, 5.1 and 5.2 Blender CI;
- a catalog of known-hard API contracts (slotted actions, temp_override, GN interface, VSE
.strips, export axes).
Claude Code also ships claude plugin eval (plugin eval suites).
Suggested approach
- Write about 20 task prompts with graders. Examples:
- "keyframe this object's rotation using 5.2 slotted actions"
- "export to Unreal-ready glTF"
- "bevel these edges with bmesh and free it"
- "add a COLOR strip to the VSE on 5.2"
- Each run: the agent writes a script, it runs headless against a checker, and you record pass or fail.
- Run with and without the plugin, per Blender version, for a named model, N trials each.
- Publish a table on the landing page and README, and refresh it on the weekly cron (or manually, for cost).
- Use the results to prioritise skill improvements, e.g. the skill trigger-description issue.
Done when
The landing page shows "agent pass rate X% → Y% with the pack (N tasks, model, date)", and it is reproducible from the repo.
- 主要言語
- Python
- スター
- 17
- フォーク
- 3
- 平均マージ
- 23時間 48分
- マージ済み PR(30日)
- 3
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
TMHSDigital/Blender-Developer-Tools のほかの issue
-
bug ci priority: high
難易度 2/5 1〜3時間 初心者へのやさしさ 55/100
-
content-integrity priority: low showcase stale
難易度 5/5 1週間以上 初心者へのやさしさ 45/100
TMHSDigital/Blender-Developer-Tools#499 · コメント 1 件 ·
-
community documentation priority: high security stale
難易度 3/5 1〜2日 初心者へのやさしさ 56/100
TMHSDigital/Blender-Developer-Tools#392 · コメント 2 件 ·
-
distribution documentation priority: high stale
難易度 4/5 1〜2日 初心者へのやさしさ 62/100
TMHSDigital/Blender-Developer-Tools#348 · コメント 1 件 ·
TMHSDigital/Blender-Developer-Tools の issue をすべて見る
似ている issue
-
hive size:simple
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
A new VOLTTRON_HOME starts with agent isolation mode on (string comparison of a boolean default)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
painted-porch/marcus#977 ·
メンテナーはふだん 1 日以内に返信
-
llm translation
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
FAIRmat-NFDI/sand#239 ·
メンテナーはふだん 1 日以内に返信