Visual baseline assertions ("golden flows") for desktop-app regression testing in CI

Đang mở
#269 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
18/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
typescript
Lĩnh vực
cli, testing

Hướng nghiên cứu

Start with the existing screen_diff, wait_for_change, find_text and index_recording tools, plus scene-change sampling, since the baseline check should reuse them. Decide the baseline storage format and keyframe matching before touching the record --baseline CLI or the Action. Done means assert_matches_baseline passes and fails on known visual changes, --update-baseline accepts them, and the eval harness gains a task for it.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

feature priority: medium

Who it's for

QA and desktop-app teams. Recording a CI run tells you what happened, while a baseline check tells you whether it changed.

Rationale

screen_diff, wait_for_change, find_text, index_recording and scene-change sampling already exist, but nothing compares a run against a stored reference.

Approach

  • Add assert_matches_baseline (tool) and record --baseline <dir> (CLI/Action).
  • Match scene-change keyframes to the baseline keyframes.
  • Apply per-region diff thresholds plus required and forbidden OCR text.
  • Output a pass/fail report and a diff contact sheet.
  • Use --update-baseline to accept changes.

Done when

The Action can fail a job on a visual regression and attach the diff sheet, and the eval harness has a task for it.

Ngôn ngữ chính
TypeScript
Star
1
Fork
4
Merge trung bình
14 giờ 8 phút
Pull request đã merge (30 ngày)
48

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của TMHSDigital/screencast-mcp

Tất cả issue của TMHSDigital/screencast-mcp

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.