Visual baseline assertions ("golden flows") for desktop-app regression testing in CI

オープン
#269 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
18/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
活発
技術スタック
typescript
領域
cli, testing

調査の方向性

Start with the existing screen_diff, wait_for_change, find_text and index_recording tools, plus scene-change sampling, since the baseline check should reuse them. Decide the baseline storage format and keyframe matching before touching the record --baseline CLI or the Action. Done means assert_matches_baseline passes and fails on known visual changes, --update-baseline accepts them, and the eval harness gains a task for it.

索引モデルが issue の本文から書いたものです。

説明

feature priority: medium

Who it's for

QA and desktop-app teams. Recording a CI run tells you what happened, while a baseline check tells you whether it changed.

Rationale

screen_diff, wait_for_change, find_text, index_recording and scene-change sampling already exist, but nothing compares a run against a stored reference.

Approach

  • Add assert_matches_baseline (tool) and record --baseline <dir> (CLI/Action).
  • Match scene-change keyframes to the baseline keyframes.
  • Apply per-region diff thresholds plus required and forbidden OCR text.
  • Output a pass/fail report and a diff contact sheet.
  • Use --update-baseline to accept changes.

Done when

The Action can fail a job on a visual regression and attach the diff sheet, and the eval harness has a task for it.

主要言語
TypeScript
スター
1
フォーク
4
平均マージ
14時間 8分
マージ済み PR(30日)
48

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

TMHSDigital/screencast-mcp のほかの issue

TMHSDigital/screencast-mcp の issue をすべて見る

似ている issue

TypeScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。