FEAT Add support for the HarmEval dataset
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 55/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- huggingface, python
調査の方向性
Start by inspecting PyRIT's existing dataset-provider patterns and the published Safe_Infer_Final_Dataset_550_Without_Answer.csv with authorized Hugging Face access. Confirm the prompt and category fields, then follow the existing registration, mocked-test, attribution, documentation, and citation conventions. Done means the gated loader supports authentication without bundling data and clearly documents access and usage terms.
索引モデルが issue の本文から書いたものです。
説明
Is your feature request related to a problem? Please describe.
SoftMINER-Group/HarmEval is relevant to PyRIT but does not currently have a built-in dataset loader. The authors describe approximately 550 harmful queries across 11 policy categories. Hugging Face access is gated, which should be supported rather than excluding the dataset.
This is a dedicated follow-up to #429.
Describe the solution you'd like
Add a remote seed dataset loader for the official HarmEval release, following the existing dataset-provider patterns.
- Inspect the actual data with authorized access and confirm the prompt and category fields. The column names suggested in #429 have not been verified. The published file is
Safe_Infer_Final_Dataset_550_Without_Answer.csv. - Support authenticated access and document the access requirements, including accepting the upstream conditions and providing a Hugging Face token. Do not bundle the gated data in this repository.
- Preserve source attribution and any available category metadata, using the appropriate PyRIT seed types.
- Add mocked loader tests, register the dataset, and update the paired dataset documentation and paper citation.
The scope is dataset integration, not implementing SafeInfer's decoding method.
Describe alternatives you've considered, if relevant
Users with access can import the CSV manually. A built-in loader would make the dataset easier to discover and use consistently with PyRIT's other datasets.
Additional context
- Dataset: https://huggingface.co/datasets/SoftMINER-Group/HarmEval
- Author repository: https://github.com/NeuralSentinel/SafeInfer
- Paper: SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models
Please confirm and document the applicable usage terms: the Hugging Face metadata declares Apache-2.0, while the access form also includes a non-commercial-use-only condition. This needs clarification rather than assuming unrestricted use from the license tag alone.
- 主要言語
- Python
- スター
- 4.5k
- フォーク
- 896
- 平均マージ
- 2日 19時間
- マージ済み PR（30日）
- 206
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/PyRIT のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
microsoft/PyRIT#2888 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 91/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
Bug: triage GUI help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
microsoft/PyRIT#2868 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
microsoft/PyRIT の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
bug
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
qgis/QGIS-Plugins-Website#459 ·
-
bug severity:medium
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 2 日以内に返信
-
bot-found bug priority: P3
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
madenvel/KalinkaPlayer#179 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ls1intum/edutelligence#1098 ·
メンテナーはふだん 1 日以内に返信