FEAT Proposal: Turkish Prompt-Injection dataset loader (design/provenance discussion)
@3nesdeniz がすでに取り組んでいます。
2026年9月12日 から。
評価
この issue はまだ評価されていません。
説明
Opening this as a design-first proposal before asking for a merge, following the catalog-direction guidance from @adrian-gavrila on #2175 (propose and get maintainer direction before building).
What
A SeedDatasetProvider loader for the open Turkish Prompt-Injection dataset (3nesdeniz/turkish-prompt-injection-1k, CC BY 4.0): paired benign/attack Turkish examples across instruction override & system-prompt extraction, jailbreak personas, obfuscation & data exfiltration, and agentic tool abuse, with Turkish morphological variation.
Why it could be valuable
- Multilingual coverage gap: PyRIT's injection-related seed datasets are English-first. Guardrails that pass in English often fail to generalize; Turkish (rich morphology) is a useful stress test for OWASP LLM01.
- False-positive measurement: the benign hard negatives share surface vocabulary with the attacks, so detector over-blocking is measurable, not just recall.
Provenance (being upfront)
This is not backed by a peer-reviewed paper today. What exists: an openly published, CC BY 4.0 dataset with a CITATION.cff, a pinned immutable HF revision, and a documented deterministic/reproducible generation methodology; split-isolated train/val/test with no template leakage.
Question for maintainers
Given that most loaders are paper-backed, what evidence-of-value / provenance bar would you want here before this is a candidate — e.g. a peer-reviewed or preprint write-up of the methodology, third-party usage, or something else? I'd rather align on direction first than repeat the sequencing issue from #2174/#2175.
A tested implementation is ready as a draft PR (#2365) purely for reference; I'm not requesting review of it until the direction here is settled.
- 主要言語
- Python
- スター
- 4.5k
- フォーク
- 896
- 平均マージ
- 3日 8時間
- マージ済み PR(30日)
- 191
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/PyRIT のほかの issue
-
BUG HarmBench loader drops ContextString, so contextual behaviors are sent without their context オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
microsoft/PyRIT の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
stephrobert/dsoxlab#238 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
sublimehq/package_control#1780 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
nwg-piotr/nwg-displays#145 ·