Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Injection and tool-use benchmark on local models

Đang mở
  • Có gì không ổn?
#179 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
security, testing-qa

Hướng nghiên cứu

Start by reading docs/VERIFICATION.md for the existing manual real-model checks and sentient/cli.py for where a new script entry would go. The harness goes in a new bench/ or tests/bench/ folder that the default pytest run must skip; the issue leaves the choice of injection and tool-chain cases open, so settle that first. Done means one command against a configured local model prints attack and task success rates, and the qwen3:8b results with and without spotlighting are recorded in docs/VERIFICATION.md.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area: engine enhancement help wanted priority: P2 size: M

No published evaluation shows how CaMeL-style or spotlighting defenses do on 7 to 8B models. Sentient should know before it advertises SAFE-2 and SAFE-12, and it can fill that gap publicly.

Idea: A local harness modelled on AgentDojo and ClawBench that runs injection attempts and multi-step tool chains on qwen3:8b before each release and measures the effect of SAFE-12 and SAFE-2. It is a manual or scheduled job, never part of the no-network CI.

Status in Sentient today: New. docs/VERIFICATION.md records manual real-model checks.

Where: A new bench/ or tests/bench/ folder excluded from the default pytest run, a script entry in sentient/cli.py, and results recorded in docs/VERIFICATION.md.

Done when:

  • one command runs the suite against a configured local model and prints attack success and task success rates
  • results for qwen3:8b with and without spotlighting are recorded

Sources:

Roadmap ID: LOCAL-10 · Priority: P2 · Size: M

Ngôn ngữ chính
Python
Star
702
Fork
113
Merge trung bình
5 giờ 15 phút
Pull request đã merge (30 ngày)
173

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của existence-master/Sentient

Tất cả issue của existence-master/Sentient

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.