Injection and tool-use benchmark on local models
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
- 領域
- security, testing-qa
調査の方向性
Start by reading docs/VERIFICATION.md for the existing manual real-model checks and sentient/cli.py for where a new script entry would go. The harness goes in a new bench/ or tests/bench/ folder that the default pytest run must skip; the issue leaves the choice of injection and tool-chain cases open, so settle that first. Done means one command against a configured local model prints attack and task success rates, and the qwen3:8b results with and without spotlighting are recorded in docs/VERIFICATION.md.
索引モデルが issue の本文から書いたものです。
説明
No published evaluation shows how CaMeL-style or spotlighting defenses do on 7 to 8B models. Sentient should know before it advertises SAFE-2 and SAFE-12, and it can fill that gap publicly.
Idea: A local harness modelled on AgentDojo and ClawBench that runs injection attempts and multi-step tool chains on qwen3:8b before each release and measures the effect of SAFE-12 and SAFE-2. It is a manual or scheduled job, never part of the no-network CI.
Status in Sentient today: New. docs/VERIFICATION.md records manual real-model checks.
Where: A new bench/ or tests/bench/ folder excluded from the default pytest run, a script entry in sentient/cli.py, and results recorded in docs/VERIFICATION.md.
Done when:
- one command runs the suite against a configured local model and prints attack success and task success rates
- results for qwen3:8b with and without spotlighting are recorded
Sources:
Roadmap ID: LOCAL-10 · Priority: P2 · Size: M
- 主要言語
- Python
- スター
- 702
- フォーク
- 113
- 平均マージ
- 5時間 8分
- マージ済み PR（30日）
- 171
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
existence-master/Sentient のほかの issue
-
area: channels enhancement good first issue priority: P2 size: S
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
existence-master/Sentient#457 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop bug good first issue priority: P2 size: S
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
existence-master/Sentient#454 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop bug priority: P2 size: S
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
existence-master/Sentient#440 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
existence-master/Sentient#426 ·
メンテナーはふだん 1 日以内に返信
-
area: memory bug flaky
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
existence-master/Sentient#422 ·
メンテナーはふだん 1 日以内に返信
existence-master/Sentient の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 66/100
AlexsLemonade/scpca-docs#518 ·
-
bug
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
rocketride-org/rocketride-server#2705 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
Metabuilder-Labs/tokenjam#786 ·
メンテナーはふだん 1 日以内に返信
-
prototype(verifier_token): map disallowed warning to contraindicated before composite precedence check対応中かも @drk-ram が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
agentrust-io/trace-spec#582 ·
メンテナーはふだん 1 日以内に返信
-
area:cli priority:low refactor size:small
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
RonaldHensbergen/composable-data-stack#906 ·
メンテナーはふだん 1 日以内に返信