BUG: Tone, Tense, Translation, Noise, ScientificTranslation and Variation converter identifiers ignore a custom prompt_template
Los mantenedores suelen responder en 2 días
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 20/100
Línea de trabajo
The issue identifies six converters in PyRIT: ToneConverter, TenseConverter, TranslationConverter, NoiseConverter, ScientificTranslationConverter, and VariationConverter. Read their identifier-building methods and compare them with LLMGenericTextConverter and IPAConverter, then inspect identifier tests. Done means custom prompt templates produce distinct identifiers from the corresponding built-in templates; linked pull request #3316 shows this work is already under way.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
Six LLM-based converters accept a custom prompt_template but leave it out of their identifiers, so a converter with a custom template has the same hash as one with the built-in template:
ToneConverter(onlytone)TenseConverter(onlytense)TranslationConverter(onlylanguage)NoiseConverter(onlynoiseandnumber_errors)ScientificTranslationConverter(onlymode, so a built-in mode with a custom template looks like the built-in one)VariationConverter(no params at all)
The template is the system prompt sent to the converter target, so it changes the output. LLMGenericTextConverter already identifies its templates with system_prompt_template_hash and user_prompt_template_hash, and IPAConverter keeps them by building on super()._build_identifier(), but these six subclasses replace the base params instead.
Because the default registry name comes from that hash, registering a converter with a custom template next to the default one raises a duplicate-name error, and memory and analytics cannot tell the two apart. This is the same problem as #3287, for the LLM-based converters.
Steps/Code to Reproduce
import asyncio
from pyrit.converter import (
NoiseConverter,
ScientificTranslationConverter,
TenseConverter,
ToneConverter,
TranslationConverter,
VariationConverter,
)
from pyrit.models import SeedPrompt
from pyrit.prompt_target import OpenAIChatTarget
from pyrit.setup import IN_MEMORY, initialize_pyrit_async
asyncio.run(initialize_pyrit_async(memory_db_type=IN_MEMORY))
target = OpenAIChatTarget(endpoint="https://example.invalid/openai/v1", api_key="unused", model_name="gpt-4o")
def custom(text: str, *params: str) -> SeedPrompt:
return SeedPrompt(value=text, data_type="text", parameters=list(params))
pairs = [
(
ToneConverter(converter_target=target, tone="angry"),
ToneConverter(converter_target=target, tone="angry", prompt_template=custom("Rewrite in a {{ tone }} tone, in French.", "tone")),
),
(
TenseConverter(converter_target=target, tense="past"),
TenseConverter(converter_target=target, tense="past", prompt_template=custom("Use the {{ tense }} tense, as a poem.", "tense")),
),
(
TranslationConverter(converter_target=target, language="French"),
TranslationConverter(converter_target=target, language="French", prompt_template=custom("Translate to {{ language }} slang.", "language")),
),
(
NoiseConverter(converter_target=target),
NoiseConverter(converter_target=target, prompt_template=custom("Add {{ number_errors }} typos: {{ noise }}", "noise", "number_errors")),
),
(
ScientificTranslationConverter(converter_target=target, mode="academic"),
ScientificTranslationConverter(converter_target=target, mode="academic", prompt_template=custom("Rewrite as a lab report.")),
),
(
VariationConverter(converter_target=target),
VariationConverter(converter_target=target, prompt_template=custom("Give {{ number_iterations }} rhyming variations.", "number_iterations")),
),
]
for default, custom_one in pairs:
print(default.get_identifier().unique_name, custom_one.get_identifier().unique_name)
Expected Results
Each pair has two different identifiers.
Actual Results
ToneConverter::71c29a7e ToneConverter::71c29a7e
TenseConverter::b9a79a58 TenseConverter::b9a79a58
TranslationConverter::04918fb0 TranslationConverter::04918fb0
NoiseConverter::a5ec8804 NoiseConverter::a5ec8804
ScientificTranslationConverter::a303aaf0 ScientificTranslationConverter::a303aaf0
VariationConverter::46dc63ec VariationConverter::46dc63ec
Screenshots
N/A
Versions
- OS: Windows 11
- Python version: 3.11.9
- PyRIT version: installed from main (f277fedd) in editable mode
- Lenguaje dominante
- Python
- Estrellas
- 4.6k
- Forks
- 962
- Merge medio
- 2 d 15 h
- PR fusionados (30 d)
- 390
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/PyRIT
-
BUG: MarkdownInjectionScorer misses shortcut-reference images with path-based exfiltration, and raw HTML <img>Posiblemente ocupada @aatif101 la tomó hace 1 día. AbiertoBug: triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
microsoft/PyRIT#3343 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 2 días
-
BUG: UrlConverter preserves forward slashes by default, preventing path payload evasionPosiblemente ocupada @Kaap10 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
Los mantenedores suelen responder en 2 días
-
BUG: XSSOutputScorer misses SVG and JavaScript data URIsPosiblemente ocupada @Kaap10 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
Los mantenedores suelen responder en 2 días
-
BUG: FuzzerGenerator accepts a jailbreak goal below 1 and a success threshold outside [0, 1]Posiblemente ocupada @ShivamSharma43 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
Los mantenedores suelen responder en 2 días
-
BUG: ManyShotJailbreakAttack accepts a negative example_count and drops examples from the endPosiblemente ocupada @ShivamSharma43 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
Los mantenedores suelen responder en 2 días
Todos los issues de microsoft/PyRIT
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
changelog investigate
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
ramnes/notion-sdk-py#423 ·
-
type-bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día