Visual baseline assertions ("golden flows") for desktop-app regression testing in CI

Abierto
#269 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
18/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
typescript
Área
cli, testing

Línea de trabajo

Start with the existing screen_diff, wait_for_change, find_text and index_recording tools, plus scene-change sampling, since the baseline check should reuse them. Decide the baseline storage format and keyframe matching before touching the record --baseline CLI or the Action. Done means assert_matches_baseline passes and fails on known visual changes, --update-baseline accepts them, and the eval harness gains a task for it.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

feature priority: medium

Who it's for

QA and desktop-app teams. Recording a CI run tells you what happened, while a baseline check tells you whether it changed.

Rationale

screen_diff, wait_for_change, find_text, index_recording and scene-change sampling already exist, but nothing compares a run against a stored reference.

Approach

  • Add assert_matches_baseline (tool) and record --baseline <dir> (CLI/Action).
  • Match scene-change keyframes to the baseline keyframes.
  • Apply per-region diff thresholds plus required and forbidden OCR text.
  • Output a pass/fail report and a diff contact sheet.
  • Use --update-baseline to accept changes.

Done when

The Action can fail a job on a visual regression and attach the diff sheet, and the eval harness has a task for it.

Lenguaje dominante
TypeScript
Estrellas
1
Forks
4
Merge medio
14 h 8 min
PR fusionados (30 d)
48

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de TMHSDigital/screencast-mcp

Todos los issues de TMHSDigital/screencast-mcp

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.