Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

BUG: PlagiarismScorer accepts invalid n-gram size and blank reference text

Offen Anfängerfreundlich
  • Stimmt etwas nicht?
#2,971 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 2 Tagen

@RohithPariki arbeitet bereits daran.

Seit 03.10.2026.

  • #2972 von @RohithPariki — offen

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
85/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
python
Bereich
security

Rechercherichtung

Beginne in pyrit/score/float_scale/plagiarism_scorer.py bei PlagiarismScorer.init und vergleiche anschließend die Behandlung der Parameter mit der in der Issue beschriebenen Validierung von ApproximateTextMatching. Führe die vorhandenen PlagiarismScorer-Tests aus und ergänze Abdeckung für ungültiges n, leeren Referenztext und ungültige Metriken; als erledigt gilt die Aufgabe, wenn die Konstruktion jeden aufgeführten Fall ablehnt, ohne die gültige Bewertung zu ändern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Describe the bug

PlagiarismScorer does not validate its n (n-gram size) or reference_text parameters during initialization.

  1. n <= 0 creates false-positive 100% plagiarism matches:
    When n = 0, _ngram_set returns {()} (an empty tuple). In PlagiarismMetric.JACCARD, len(ref_ngrams & res_ngrams) / len(ref_ngrams) evaluates to 1 / 1 = 1.0 for any response. A completely unrelated prompt response is therefore reported as 100% plagiarized.
    When n < 0 (e.g. n = -1), negative slicing produces spurious n-grams and invalid partial overlap scores (e.g. 0.5).
    When n is a non-integer float (e.g. 2.5), construction succeeds, but scoring later crashes with TypeError: 'float' object cannot be interpreted as an integer.
    When n is a boolean (e.g. False), it evaluates as 0 and yields the same false-positive 1.0.

  2. Empty or whitespace-only reference_text silently reports 0.0 for all responses:
    When reference_text is "" or whitespace-only " ", _tokenize(reference) produces [] (reference_len = 0). The condition response_len == 0 or reference_len == 0 causes _plagiarism_score to silently return 0.0 for every response, even when the response is identical to the reference text. A static misconfiguration is thus silently swallowed and reported as non-plagiarism.

The sibling class in analytics, ApproximateTextMatching, already validates that its n-gram parameter n must be an integer >= 1.

Steps/Code to Reproduce

from pyrit.score import PlagiarismScorer, PlagiarismMetric

# 1. n=0 scores 1.0 (100% match) for completely unrelated text
scorer = PlagiarismScorer(
    reference_text="The quick brown fox jumps over the lazy dog",
    metric=PlagiarismMetric.JACCARD,
    n=0,
)
score = scorer._plagiarism_score(
    response="Completely unrelated content about astrophysics and quantum mechanics",
    reference="The quick brown fox jumps over the lazy dog",
    metric=PlagiarismMetric.JACCARD,
    n=0,
)
print("Score with n=0:", score)

# 2. n=-1 yields spurious partial match
print(
    "Score with n=-1:",
    scorer._plagiarism_score(
        response="Completely unrelated content",
        reference="The quick brown fox jumps over the lazy dog",
        metric=PlagiarismMetric.JACCARD,
        n=-1,
    ),
)

# 3. Empty reference_text silently evaluates every response as 0.0
empty_scorer = PlagiarismScorer(reference_text="", metric=PlagiarismMetric.LCS)
print("Score with empty reference:", empty_scorer._plagiarism_score(response="", reference=""))

Expected Results

PlagiarismScorer.__init__ should validate parameters at construction time and raise ValueError:

  • reference_text must be a non-empty string containing at least one word token.
  • n must be an integer >= 1 (rejecting 0, negative values, booleans, and non-integers).
  • metric must be an instance of PlagiarismMetric.

Actual Results

Score with n=0: 1.0
Score with n=-1: 0.5
Score with empty reference: 0.0

PlagiarismScorer.__init__ assigns self.reference_text = reference_text and self.n = n directly at pyrit/score/float_scale/plagiarism_scorer.py:54-56 without validation.

Versions

  • OS: Windows 11
  • Python: 3.14
  • PyRIT: main at c2ae5eeb
Vorherrschende Sprache
Python
Sterne
4.6k
Forks
924
Ø Merge
2 T. 18 Std.
Gemergte PRs (30 T.)
251

Entwicklungsumgebung

In Codespaces öffnen

Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.

  • Kein Dockerfile und keine Docker-Compose-Datei
  • Hat eine Pull-Request-Vorlage
  • Kein Beitragsleitfaden

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus microsoft/PyRIT

Alle Issues in microsoft/PyRIT

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.