FEAT Proposal: Turkish Prompt-Injection dataset loader (design/provenance discussion)
@3nesdeniz đang làm issue này rồi.
Từ ngày 12/9/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Opening this as a design-first proposal before asking for a merge, following the catalog-direction guidance from @adrian-gavrila on #2175 (propose and get maintainer direction before building).
What
A SeedDatasetProvider loader for the open Turkish Prompt-Injection dataset (3nesdeniz/turkish-prompt-injection-1k, CC BY 4.0): paired benign/attack Turkish examples across instruction override & system-prompt extraction, jailbreak personas, obfuscation & data exfiltration, and agentic tool abuse, with Turkish morphological variation.
Why it could be valuable
- Multilingual coverage gap: PyRIT's injection-related seed datasets are English-first. Guardrails that pass in English often fail to generalize; Turkish (rich morphology) is a useful stress test for OWASP LLM01.
- False-positive measurement: the benign hard negatives share surface vocabulary with the attacks, so detector over-blocking is measurable, not just recall.
Provenance (being upfront)
This is not backed by a peer-reviewed paper today. What exists: an openly published, CC BY 4.0 dataset with a CITATION.cff, a pinned immutable HF revision, and a documented deterministic/reproducible generation methodology; split-isolated train/val/test with no template leakage.
Question for maintainers
Given that most loaders are paper-backed, what evidence-of-value / provenance bar would you want here before this is a candidate — e.g. a peer-reviewed or preprint write-up of the methodology, third-party usage, or something else? I'd rather align on direction first than repeat the sequencing issue from #2174/#2175.
A tested implementation is ready as a draft PR (#2365) purely for reference; I'm not requesting review of it until the direction here is settled.
- Ngôn ngữ chính
- Python
- Star
- 4.5k
- Fork
- 896
- Merge trung bình
- 3 ngày 5 giờ
- Pull request đã merge (30 ngày)
- 200
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của microsoft/PyRIT
-
BUG HarmBench loader drops ContextString, so contextual behaviors are sent without their context Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
Tất cả issue của microsoft/PyRIT
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
browser-use/browser-use#5905 ·
-
type: enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ynput/ayon-python-api#363 ·
-
bug needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
modelscope/FunASR#3728 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
open-compass/opencompass#2655 ·