Suggestion: Built-in test scenarios for RAG retrieval poisoning
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia esaminando i moduli esistenti degli scenari di test di PyRIT e i punti di integrazione del vector store o di RAG rilevanti per il recupero. Definisci come simulare e misurare l’iniezione di documenti avvelenati e il suo effetto sulle risposte generate; il lavoro è completo quando il framework include uno scenario documentato e ripetibile per valutare il Retrieval Poisoning.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
PyRIT currently focuses primarily on prompt-level attacks against LLMs, but doesn't include pre-built scenarios for testing RAG-specific vulnerabilities, such as injecting adversarial content into a vector store to manipulate retrieval results (retrieval poisoning). Adding a dedicated test module for simulating poisoned document injection and measuring its effect on generated responses would extend PyRIT's coverage to a growing attack surface as RAG architectures become standard in enterprise AI deployments.
- Lingua principale
- Python
- Stelle
- 4.5k
- Fork
- 896
- Merge medio
- 3g 8h
- PR unite (30g)
- 191
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/PyRIT
-
BUG HarmBench loader drops ContextString, so contextual behaviors are sent without their context Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
Tutte le issue di microsoft/PyRIT
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
stephrobert/dsoxlab#238 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
sublimehq/package_control#1780 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
nwg-piotr/nwg-displays#145 ·