BUG: Tone, Tense, Translation, Noise, ScientificTranslation and Variation converter identifiers ignore a custom prompt_template
I maintainer di solito rispondono entro 2 giorni
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 20/100
Direzione di ricerca
The issue identifies six converters in PyRIT: ToneConverter, TenseConverter, TranslationConverter, NoiseConverter, ScientificTranslationConverter, and VariationConverter. Read their identifier-building methods and compare them with LLMGenericTextConverter and IPAConverter, then inspect identifier tests. Done means custom prompt templates produce distinct identifiers from the corresponding built-in templates; linked pull request #3316 shows this work is already under way.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
Six LLM-based converters accept a custom prompt_template but leave it out of their identifiers, so a converter with a custom template has the same hash as one with the built-in template:
ToneConverter(onlytone)TenseConverter(onlytense)TranslationConverter(onlylanguage)NoiseConverter(onlynoiseandnumber_errors)ScientificTranslationConverter(onlymode, so a built-in mode with a custom template looks like the built-in one)VariationConverter(no params at all)
The template is the system prompt sent to the converter target, so it changes the output. LLMGenericTextConverter already identifies its templates with system_prompt_template_hash and user_prompt_template_hash, and IPAConverter keeps them by building on super()._build_identifier(), but these six subclasses replace the base params instead.
Because the default registry name comes from that hash, registering a converter with a custom template next to the default one raises a duplicate-name error, and memory and analytics cannot tell the two apart. This is the same problem as #3287, for the LLM-based converters.
Steps/Code to Reproduce
import asyncio
from pyrit.converter import (
NoiseConverter,
ScientificTranslationConverter,
TenseConverter,
ToneConverter,
TranslationConverter,
VariationConverter,
)
from pyrit.models import SeedPrompt
from pyrit.prompt_target import OpenAIChatTarget
from pyrit.setup import IN_MEMORY, initialize_pyrit_async
asyncio.run(initialize_pyrit_async(memory_db_type=IN_MEMORY))
target = OpenAIChatTarget(endpoint="https://example.invalid/openai/v1", api_key="unused", model_name="gpt-4o")
def custom(text: str, *params: str) -> SeedPrompt:
return SeedPrompt(value=text, data_type="text", parameters=list(params))
pairs = [
(
ToneConverter(converter_target=target, tone="angry"),
ToneConverter(converter_target=target, tone="angry", prompt_template=custom("Rewrite in a {{ tone }} tone, in French.", "tone")),
),
(
TenseConverter(converter_target=target, tense="past"),
TenseConverter(converter_target=target, tense="past", prompt_template=custom("Use the {{ tense }} tense, as a poem.", "tense")),
),
(
TranslationConverter(converter_target=target, language="French"),
TranslationConverter(converter_target=target, language="French", prompt_template=custom("Translate to {{ language }} slang.", "language")),
),
(
NoiseConverter(converter_target=target),
NoiseConverter(converter_target=target, prompt_template=custom("Add {{ number_errors }} typos: {{ noise }}", "noise", "number_errors")),
),
(
ScientificTranslationConverter(converter_target=target, mode="academic"),
ScientificTranslationConverter(converter_target=target, mode="academic", prompt_template=custom("Rewrite as a lab report.")),
),
(
VariationConverter(converter_target=target),
VariationConverter(converter_target=target, prompt_template=custom("Give {{ number_iterations }} rhyming variations.", "number_iterations")),
),
]
for default, custom_one in pairs:
print(default.get_identifier().unique_name, custom_one.get_identifier().unique_name)
Expected Results
Each pair has two different identifiers.
Actual Results
ToneConverter::71c29a7e ToneConverter::71c29a7e
TenseConverter::b9a79a58 TenseConverter::b9a79a58
TranslationConverter::04918fb0 TranslationConverter::04918fb0
NoiseConverter::a5ec8804 NoiseConverter::a5ec8804
ScientificTranslationConverter::a303aaf0 ScientificTranslationConverter::a303aaf0
VariationConverter::46dc63ec VariationConverter::46dc63ec
Screenshots
N/A
Versions
- OS: Windows 11
- Python version: 3.11.9
- PyRIT version: installed from main (f277fedd) in editable mode
- Lingua principale
- Python
- Stelle
- 4.6k
- Fork
- 962
- Merge medio
- 2g 16h
- PR unite (30g)
- 354
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/PyRIT
-
BUG: label queries only return the final conversation of an attackForse già presa @u7k4rs6 l’ha presa 5 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
microsoft/PyRIT#3095 · 4 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 72/100
microsoft/PyRIT#3325 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 53/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 46/100
I maintainer di solito rispondono entro 2 giorni
-
BUG: DenylistConverter and TransparencyAttackConverter identifiers ignore settings that change outputForse già presa @ShivamSharma43 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di microsoft/PyRIT
Issue simili
-
comp/cli P3 type/security
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
NousResearch/hermes-agent#141420 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
vendor-pitch
Difficoltà 2/5 1-3 ore Idoneità per principianti 87/100
I maintainer di solito rispondono entro 1 giorno
-
bug llm p2
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
New tool: ZIPZAX Python Notebook StudioForse già presa @github-actions l’ha presa oggi. Apertasubmission triage
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
kausalflow/tools#226 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100