Agent plugin: fixture repositories and agent evals for every skill
メンテナーはふだん 1 日以内に返信
@drevendev がすでに取り組んでいます。
2026年10月24日 から。
評価
調査の方向性
Start by reading the existing skills and the work in issues #69–#72, then inspect the test and plugin setup to place fixtures under tests/fixtures/agent-repos and eval cases under evals/. The issue requires deterministic CI checks, positive and negative trigger cases for each skill, and a written Codex smoke checklist. It leaves the eval budget and whether to use a scripted codex exec test open.
索引モデルが issue の本文から書いたものです。
説明
Reader problem
Nothing proves that the skills trigger when they should, stay read-only when they should, and ignore instructions planted in the target repository.
Design decisions
- Fixtures:
tests/fixtures/agent-repos/{minimal, broken-links, healthy, injection-bait}, each with the expected auditrule_ids. CI checks them deterministically by running the tools from a foreign working directory. - Claude Code evals:
evals/cases forclaude plugin eval.- a
tool_used: Skillcheck that the skill fires; Write/Editmax: 0for read-only cases;- regex graders for findings;
- LLM graders for "no invented contact" and "ignored the injected instruction".
- a
- Native Windows has no eval sandbox, so evals are documented to run under WSL2 or Linux before a release.
Acceptance
- The deterministic fixture tests are green in CI.
- Each skill has at least 2 positive cases and 1 negative trigger case.
- Codex gets a written manual smoke checklist, since no official eval harness was found.
Open questions
- Budget for paid model eval runs.
- Whether a scripted
codex execsmoke test is acceptable.
Depends on: #69, #70, #71, #72
- 主要言語
- Python
- スター
- 2
- フォーク
- 0
- 平均マージ
- 5時間 23分
- マージ済み PR（30日）
- 117
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
drevendev/BeautifulRepo のほかの issue
-
Retire the hacktoberfest label: it claims participation the programs guide rules out対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープンdocumentation self-check
難易度 3/5 1〜2日 初心者へのやさしさ 52/100
drevendev/BeautifulRepo#100 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
epic real-case
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
drevendev/BeautifulRepo#88 ·
メンテナーはふだん 1 日以内に返信
-
agent-skill epic
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
drevendev/BeautifulRepo#86 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Real case: Quillgrain and Quillgrain_Common — show the CLI result and make reporting routes trueオープンreal-case
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
drevendev/BeautifulRepo#83 ·
メンテナーはふだん 1 日以内に返信
-
real-case
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
drevendev/BeautifulRepo#82 ·
メンテナーはふだん 1 日以内に返信
drevendev/BeautifulRepo の issue をすべて見る
似ている issue
-
app: scripts status: backlog type: documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
netbox-community/netbox-scripts#68 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
marin-community/marin#10765 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 70/100
flathub/com.unity.UnityHub#230 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
namespace operations
難易度 1/5 1時間未満 初心者へのやさしさ 63/100
EclipseFdn/open-vsx.org#14910 ·
メンテナーはふだん 1 日以内に返信