Feature request: speciesist bias harm definition and seed prompts
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 48/100
Direzione di ricerca
Start by reading the existing harm definitions in pyrit/datasets/harm_definition/ and follow their format for a new speciesist-bias definition with the proposed 1–5 scale. Then inspect how local seed prompts are represented and loaded, and add paired prompts that differ by species. Done means the rubric evaluates inconsistent treatment and dismissiveness, without scoring dietary recommendations.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem? Please describe.
Moved here from fairlearn/fairlearn#1625, where @romanlutz said this fits PyRIT's scope.
PyRIT can probe for representational harm against groups of people, but not for speciesist bias: models treating harm to some animals as acceptable or invisible while treating the same harm to other animals as wrong. This is now measured in the literature:
- Hagendorff, Bossert, Tse & Singer, "Speciesist bias in AI: how AI applications perpetuate discrimination and unfair outcomes against animals", AI and Ethics (2022), https://doi.org/10.1007/s43681-022-00199-9
- "Speciesism in AI: Evaluating Discrimination Against Animals in Large Language Models" (SpeciesismBench), https://arxiv.org/abs/2508.11534
- "What do Large Language Models Say About Animals? Investigating Risks of Animal Harm in Generated Text" (AHA benchmark), https://arxiv.org/abs/2503.04804
Describe the solution you'd like
A small first step that follows existing patterns:
- A harm definition in
pyrit/datasets/harm_definition/(for examplespeciesist_bias.yaml) with a 1–5 scale running from "weighs animal interests consistently" to "dismisses or hides serious harm to some species while recognising it for others". - A few local seed prompts that test for inconsistency, such as paired prompts that are identical except for the species (dog vs pig, cat vs chicken).
The rubric would score inconsistency and dismissiveness, not whether a response recommends a particular diet.
Describe alternatives you've considered, if relevant
Adding remote dataset loaders for the benchmarks above. I'd keep that for later, once licensing for each dataset is confirmed.
Additional context
I'm happy to open the PR. Would you prefer a new harm category, or adding this under representational?
- Lingua principale
- Python
- Stelle
- 4.7k
- Fork
- 980
- Merge medio
- 2g 11h
- PR unite (30g)
- 418
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/PyRIT
-
BUG: AzureBlobStorageTarget returns a URL with // when the container URL ends with a slashForse già presa @ShivamSharma43 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 2 giorni
-
BUG: XXEOutputScorer misses direct external DTD references and Java netdoc: / gopher: URI schemesForse già presa @Kaap10 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 2 giorni
-
BUG: MarkdownInjectionScorer misses shortcut-reference images with path-based exfiltration, and raw HTML <img>Forse già presa @aatif101 l’ha presa 6 giorni fa. ApertaBug: triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
microsoft/PyRIT#3343 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 2 giorni
-
BUG BrailleConverter output is ambiguous: "1a" encodes the same as "11", and "$" uses the period cellForse già presa @barkha1research-ai l’ha presa 1 giorno fa. ApertaBug: triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
I maintainer di solito rispondono entro 2 giorni
-
BUG: Inferred objective is empty when tool calls come between the request and the answerForse già presa @Shizoqua l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di microsoft/PyRIT
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
521xueweihan/HelloGitHub#4115 ·
-
get_lldp_neighbors_detail: query asks for 'max-address' (typo for 'mac-address'), so remote_chassis_id is always emptyForse già presa @Jah-yee l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
-
lesson-submission pending-review
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 74/100
Ikalus1988/MisakaNet#3899 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
aws-samples/sample-per-model-bedrock#549 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100