Triage bot: improve RCA with upstream evidence gathering

Offen
  • Stimmt etwas nicht?
#1,065 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Anfängerfreundlichkeit
42/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Ruhig
Tech-Stack
typescript
Bereich
ai, api, observability-sre

Rechercherichtung

Beginne damit, das in Issue #1064 beschriebene Verhalten des Triage-Bots sowie den referenzierten Sentry API- und MCP-Schema-Vertrag zu prüfen. Definiere den Ablauf der Beweiserhebung und das Kommentierungsformat so, dass API-Antworten, Schema-Vergleiche und Schlussfolgerungen ausdrücklich voneinander unterschieden werden; als erledigt gilt die Aufgabe, wenn Schema- oder Vertragsprobleme unabhängig beobachtete Belege aus der Quelle enthalten, statt die Diagnose des Meldenden zu wiederholen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

enhancement

The triage bot's RCA comments tend to restate the reporter's own diagnosis rather than gathering independent upstream evidence. For schema or API contract issues, the bot should verify the actual mismatch by querying Sentry directly, rather than taking the reporter's analysis at face value.

Current behavior

  • Bot confirms the reporter's diagnosis without independent verification (#1064 is a clear example: the bot echoed the ZodError/enum analysis the reporter already provided, added no new evidence)
  • For Sentry API issues, the bot doesn't query upstream to observe the actual response shape or confirm when the contract changed
  • Evidence trail is opaque — comments don't distinguish what the bot checked vs. what it inferred from the issue body, making it hard for maintainers to trust or act on

Gap

  • For schema/contract mismatches, the highest-value analysis would: call the relevant Sentry API endpoint and capture the actual response shape, cross-reference the MCP schema to confirm the exact field(s) that diverge, and surface that as grounded evidence with explicit "I called X and saw Y" framing
  • Without that, the bot comment is redundant with the issue body and doesn't accelerate resolution

Suggested improvements

  • When an issue references a Sentry API response or schema field, have the bot make the relevant API call and include the observed response shape in its analysis
  • Require the bot to explicitly label what it verified vs. what it inferred (e.g., "Confirmed by calling GET /organizations/{org}/issues/{id}/autofix/ — response shows status: completed")
  • For schema mismatch issues, cross-reference Sentry source or API docs to confirm the current contract and when it diverged from the local expectation

Reference: #1064 (bot comment at https://github.com/getsentry/sentry-mcp/issues/1064#issuecomment-4649699516 restates the reporter's diagnosis without new evidence)

Action taken on behalf of immutable dcramer.

Vorherrschende Sprache
TypeScript
Sterne
957
Forks
174
Ø Merge
16 Std. 43 Min.
Gemergte PRs (30 T.)
390

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus getsentry/toolkit

Alle Issues in getsentry/toolkit

Ähnliche Issues

Weitere Issues zu TypeScript

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.