Automate base replay of random counterexamples (R42)

Offen
#157 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
48/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
github-actions, javascript
Bereich
ci-cd, testing

Rechercherichtung

Start by reading rule v21.2 R42, the referenced “Main's determinism failures” and “Replay by history” guidance, and the CI behavior described in issues #81, #90, and #122. Find the CI step that runs random or drawn-base units and trace how it records failing histories and selects the merge base. Done means the full history is preserved, replayed on the merge base, and the job distinguishes “main also fails” from “this PR's own”; the payload does not name files or tests.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

When a random seed or drawn base finds a counterexample on a PR, the rule (v21.2 R42; M "Main's determinism failures" and "Replay by history") is: replay the full history on the base commit. If the base fails too, file it and don't block. Today that step is manual: an agent replays and files, and a rerun turns the job green. CI also cuts the failing history at 2,000 characters (#81), so the history has to be reprinted at the failing commit.

Proposal: when a random or drawn-base unit fails, a CI step writes the full history to an artifact, replays it on the merge base, and marks the job as "main also fails" or "this PR's own". Found in the #90 and #122 reviews.

This issue was written by Isaac.

Vorherrschende Sprache
JavaScript
Sterne
5
Forks
1
Ø Merge
11 Std. 18 Min.
Gemergte PRs (30 T.)
66

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus TanStack/oracles

Alle Issues in TanStack/oracles

Ähnliche Issues

Weitere Issues zu JavaScript

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.