Visual baseline assertions ("golden flows") for desktop-app regression testing in CI

Aberta
#269 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
18/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
typescript
Domínio
cli, testing

Direção de pesquisa

Start with the existing screen_diff, wait_for_change, find_text and index_recording tools, plus scene-change sampling, since the baseline check should reuse them. Decide the baseline storage format and keyframe matching before touching the record --baseline CLI or the Action. Done means assert_matches_baseline passes and fails on known visual changes, --update-baseline accepts them, and the eval harness gains a task for it.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

feature priority: medium

Who it's for

QA and desktop-app teams. Recording a CI run tells you what happened, while a baseline check tells you whether it changed.

Rationale

screen_diff, wait_for_change, find_text, index_recording and scene-change sampling already exist, but nothing compares a run against a stored reference.

Approach

  • Add assert_matches_baseline (tool) and record --baseline <dir> (CLI/Action).
  • Match scene-change keyframes to the baseline keyframes.
  • Apply per-region diff thresholds plus required and forbidden OCR text.
  • Output a pass/fail report and a diff contact sheet.
  • Use --update-baseline to accept changes.

Done when

The Action can fail a job on a visual regression and attach the diff sheet, and the eval harness has a task for it.

Linguagem predominante
TypeScript
Estrelas
1
Forks
4
Merge médio
14h 8min
PRs com merge (30d)
48

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de TMHSDigital/screencast-mcp

Todas as issues de TMHSDigital/screencast-mcp

Issues semelhantes

Mais issues de TypeScript

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.