Automate base replay of random counterexamples (R42)

Ouverte
#157 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
48/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
github-actions, javascript
Domaine
ci-cd, testing

Piste de recherche

Start by reading rule v21.2 R42, the referenced “Main's determinism failures” and “Replay by history” guidance, and the CI behavior described in issues #81, #90, and #122. Find the CI step that runs random or drawn-base units and trace how it records failing histories and selects the merge base. Done means the full history is preserved, replayed on the merge base, and the job distinguishes “main also fails” from “this PR's own”; the payload does not name files or tests.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

When a random seed or drawn base finds a counterexample on a PR, the rule (v21.2 R42; M "Main's determinism failures" and "Replay by history") is: replay the full history on the base commit. If the base fails too, file it and don't block. Today that step is manual: an agent replays and files, and a rerun turns the job green. CI also cuts the failing history at 2,000 characters (#81), so the history has to be reprinted at the failing commit.

Proposal: when a random or drawn-base unit fails, a CI step writes the full history to an artifact, replays it on the merge base, and marks the job as "main also fails" or "this PR's own". Found in the #90 and #122 reviews.

This issue was written by Isaac.

Langage dominant
JavaScript
Étoiles
5
Forks
1
Merge moyen
11 h 18 min
PR mergées (30 j)
66

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de TanStack/oracles

Toutes les issues de TanStack/oracles

Issues similaires

Plus d'issues JavaScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.