Visual baseline assertions ("golden flows") for desktop-app regression testing in CI

Ouverte
#269 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
18/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
typescript
Domaine
cli, testing

Piste de recherche

Start with the existing screen_diff, wait_for_change, find_text and index_recording tools, plus scene-change sampling, since the baseline check should reuse them. Decide the baseline storage format and keyframe matching before touching the record --baseline CLI or the Action. Done means assert_matches_baseline passes and fails on known visual changes, --update-baseline accepts them, and the eval harness gains a task for it.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

feature priority: medium

Who it's for

QA and desktop-app teams. Recording a CI run tells you what happened, while a baseline check tells you whether it changed.

Rationale

screen_diff, wait_for_change, find_text, index_recording and scene-change sampling already exist, but nothing compares a run against a stored reference.

Approach

  • Add assert_matches_baseline (tool) and record --baseline <dir> (CLI/Action).
  • Match scene-change keyframes to the baseline keyframes.
  • Apply per-region diff thresholds plus required and forbidden OCR text.
  • Output a pass/fail report and a diff contact sheet.
  • Use --update-baseline to accept changes.

Done when

The Action can fail a job on a visual regression and attach the diff sheet, and the eval harness has a task for it.

Langage dominant
TypeScript
Étoiles
1
Forks
4
Merge moyen
14 h 8 min
PR mergées (30 j)
48

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de TMHSDigital/screencast-mcp

Toutes les issues de TMHSDigital/screencast-mcp

Issues similaires

Plus d'issues TypeScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.