Automate base replay of random counterexamples (R42)

Aperta
#157 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
48/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
github-actions, javascript
Ambito
ci-cd, testing

Direzione di ricerca

Start by reading rule v21.2 R42, the referenced “Main's determinism failures” and “Replay by history” guidance, and the CI behavior described in issues #81, #90, and #122. Find the CI step that runs random or drawn-base units and trace how it records failing histories and selects the merge base. Done means the full history is preserved, replayed on the merge base, and the job distinguishes “main also fails” from “this PR's own”; the payload does not name files or tests.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

When a random seed or drawn base finds a counterexample on a PR, the rule (v21.2 R42; M "Main's determinism failures" and "Replay by history") is: replay the full history on the base commit. If the base fails too, file it and don't block. Today that step is manual: an agent replays and files, and a rerun turns the job green. CI also cuts the failing history at 2,000 characters (#81), so the history has to be reprinted at the failing commit.

Proposal: when a random or drawn-base unit fails, a CI step writes the full history to an artifact, replays it on the merge base, and marks the job as "main also fails" or "this PR's own". Found in the #90 and #122 reviews.

This issue was written by Isaac.

Lingua principale
JavaScript
Stelle
5
Fork
1
Merge medio
11h 18m
PR unite (30g)
66

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di TanStack/oracles

Tutte le issue di TanStack/oracles

Issue simili

Altre issue su JavaScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.