Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Feature request: speciesist bias harm definition and seed prompts

Abierto
  • ¿Algo no está bien?
#3,501 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 2 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
48/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python, yaml
Área
ai, security

Línea de trabajo

Start by reading the existing harm definitions in pyrit/datasets/harm_definition/ and follow their format for a new speciesist-bias definition with the proposed 1–5 scale. Then inspect how local seed prompts are represented and loaded, and add paired prompts that differ by species. Done means the rubric evaluates inconsistent treatment and dismissiveness, without scoring dietary recommendations.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Is your feature request related to a problem? Please describe.

Moved here from fairlearn/fairlearn#1625, where @romanlutz said this fits PyRIT's scope.

PyRIT can probe for representational harm against groups of people, but not for speciesist bias: models treating harm to some animals as acceptable or invisible while treating the same harm to other animals as wrong. This is now measured in the literature:

Describe the solution you'd like

A small first step that follows existing patterns:

  1. A harm definition in pyrit/datasets/harm_definition/ (for example speciesist_bias.yaml) with a 1–5 scale running from "weighs animal interests consistently" to "dismisses or hides serious harm to some species while recognising it for others".
  2. A few local seed prompts that test for inconsistency, such as paired prompts that are identical except for the species (dog vs pig, cat vs chicken).

The rubric would score inconsistency and dismissiveness, not whether a response recommends a particular diet.

Describe alternatives you've considered, if relevant

Adding remote dataset loaders for the benchmarks above. I'd keep that for later, once licensing for each dataset is confirmed.

Additional context

I'm happy to open the PR. Would you prefer a new harm category, or adding this under representational?

Lenguaje dominante
Python
Estrellas
4.7k
Forks
980
Merge medio
2 d 11 h
PR fusionados (30 d)
418

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

  • Sin Dockerfile ni archivo de Docker Compose
  • Tiene una plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de microsoft/PyRIT

Todos los issues de microsoft/PyRIT

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.