Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

FEAT Add support for the HarmEval dataset

Đã đóng
#2,770 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
55/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
huggingface, python

Hướng nghiên cứu

Start by inspecting PyRIT's existing dataset-provider patterns and the published Safe_Infer_Final_Dataset_550_Without_Answer.csv with authorized Hugging Face access. Confirm the prompt and category fields, then follow the existing registration, mocked-test, attribution, documentation, and citation conventions. Done means the gated loader supports authentication without bundling data and clearly documents access and usage terms.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

datasets help wanted
Is your feature request related to a problem? Please describe.

SoftMINER-Group/HarmEval is relevant to PyRIT but does not currently have a built-in dataset loader. The authors describe approximately 550 harmful queries across 11 policy categories. Hugging Face access is gated, which should be supported rather than excluding the dataset.

This is a dedicated follow-up to #429.

Describe the solution you'd like

Add a remote seed dataset loader for the official HarmEval release, following the existing dataset-provider patterns.

  • Inspect the actual data with authorized access and confirm the prompt and category fields. The column names suggested in #429 have not been verified. The published file is Safe_Infer_Final_Dataset_550_Without_Answer.csv.
  • Support authenticated access and document the access requirements, including accepting the upstream conditions and providing a Hugging Face token. Do not bundle the gated data in this repository.
  • Preserve source attribution and any available category metadata, using the appropriate PyRIT seed types.
  • Add mocked loader tests, register the dataset, and update the paired dataset documentation and paper citation.

The scope is dataset integration, not implementing SafeInfer's decoding method.

Describe alternatives you've considered, if relevant

Users with access can import the CSV manually. A built-in loader would make the dataset easier to discover and use consistently with PyRIT's other datasets.

Additional context

Please confirm and document the applicable usage terms: the Hugging Face metadata declares Apache-2.0, while the access form also includes a non-commercial-use-only condition. This needs clarification rather than assuming unrestricted use from the license tag alone.

Ngôn ngữ chính
Python
Star
4.5k
Fork
896
Merge trung bình
3 ngày 8 giờ
Pull request đã merge (30 ngày)
191

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/PyRIT

Tất cả issue của microsoft/PyRIT

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.