Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

FEAT: Add Echo Chamber multi-turn attack strategy

Đang mở
  • Có gì không ổn?
#3,269 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
34/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
ai, security

Hướng nghiên cứu

Start with the existing Crescendo attack under pyrit/executor/attack/multi_turn/, since the issue reuses its turn loop, backtracking, AttackAdversarialConfig, AttackScoringConfig and SelfAskRefusalScorer. Confirm scope with maintainers first, since the issue's three questions are still open. Done means a new EchoChamberAttack class with its prompt under pyrit/datasets/executors/echo_chamber/, plus unit tests using mocked adversarial and objective targets that cover the seed phase, the echo turn, refusal with backtrack, and stop conditions.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Is your feature request related to a problem? Please describe.

PyRIT's multi-turn attacks (Crescendo, TAP, PAIR, RedTeaming) all escalate the request turn by turn. Echo Chamber (NeuralTrust, 2025) works differently. It gets the target to write benign text related to the objective, then keeps asking it to expand on its own earlier answers. The conversation drifts toward the objective through the model's own outputs, and no single user turn looks harmful, so per-turn filters and refusal checks don't catch it.

The paper reports 45.0% attack success on an AdvBench-derived set, against 28.6% for Crescendo and 9.5% for DAN on the same tasks. It covers a failure mode the current strategies don't.

I couldn't find an existing issue or PR for it.

Describe the solution you'd like

A new EchoChamberAttack in pyrit/executor/attack/multi_turn/, following the published flow:

  1. Seed. Derive neutral keywords from the objective, have the target write a few sentences from them, pick the one closest to the objective, and ask the target to expand on it.
  2. Echo loop. Each turn, the adversarial chat reads the transcript and writes a follow-up that builds on what the target already said, without stating the objective.
  3. Backtrack. On refusal, drop the exchange and retry from another angle.
  4. Score. Run the objective scorer each turn and stop on success or at max_turns.

It would reuse what Crescendo uses: AttackAdversarialConfig, AttackScoringConfig, AttackConverterConfig, SelfAskRefusalScorer as the default refusal scorer, conversation-duplication backtracking, and MULTI_TURN + EDITABLE_HISTORY target requirements. The adversarial system prompt would go in pyrit/datasets/executors/echo_chamber/, adapted from NeuralTrust's MIT-licensed reference code with attribution.

The PR would include unit tests with mocked adversarial and objective targets (seed phase, echo turn, refusal and backtrack, stop conditions) and a doc entry next to the other multi-turn attacks.

Describe alternatives you've considered, if relevant
  • Subclassing CrescendoAttack. The turn loop and backtracking are the same, but the seed phase and the adversarial prompt differ, so I think a separate class is clearer. I'm fine going the other way if you prefer.
  • A converter. Wouldn't work, since the attack depends on what the target said in earlier turns.
Additional context

The paper's numbers come from 12 objectives across GPT-4.1, GPT-5, and Gemini models, so the sample is small. I'll run it against a target I can reach and post the results here before opening the PR.

Questions:

  1. Is this in scope as a new multi-turn attack?
  2. Separate class or Crescendo subclass?
  3. Any preference for how the NeuralTrust attribution should look in the prompt YAML?
Ngôn ngữ chính
Python
Star
4.6k
Fork
944
Merge trung bình
2 ngày 18 giờ
Pull request đã merge (30 ngày)
369

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/PyRIT

Tất cả issue của microsoft/PyRIT

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.