Suggestion: Built-in test scenarios for RAG retrieval poisoning
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
Línea de trabajo
Comienza revisando los módulos de escenarios de prueba existentes de PyRIT y los puntos de integración del almacén vectorial o de RAG relevantes para la recuperación. Define cómo se deben simular y medir la inyección de documentos envenenados y su efecto en las respuestas generadas; se considera terminado cuando el framework incluye un escenario documentado y reproducible para evaluar el envenenamiento de la recuperación.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
PyRIT currently focuses primarily on prompt-level attacks against LLMs, but doesn't include pre-built scenarios for testing RAG-specific vulnerabilities, such as injecting adversarial content into a vector store to manipulate retrieval results (retrieval poisoning). Adding a dedicated test module for simulating poisoned document injection and measuring its effect on generated responses would extend PyRIT's coverage to a growing attack surface as RAG architectures become standard in enterprise AI deployments.
- Lenguaje dominante
- Python
- Estrellas
- 4.5k
- Forks
- 896
- Merge medio
- 3 d 8 h
- PR fusionados (30 d)
- 191
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/PyRIT
-
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
-
Bug: triage GUI help wanted
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
-
feature-request
Dificultad 3/5 1-2 días Aptitud para principiantes 70/100
-
bug help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 68/100
-
not ready yet
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
Todos los issues de microsoft/PyRIT
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
stephrobert/dsoxlab#238 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
sublimehq/package_control#1780 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
nwg-piotr/nwg-displays#145 ·