Image Comparison for Dynamic and Multilingual screen
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- java
- Lĩnh vực
- computer-vision, testing-qa
Hướng nghiên cứu
Bắt đầu bằng việc xem xét SimilarityMatchingOptions và tài liệu được liên kết của plugin Appium Images về tính toán độ tương đồng và tra cứu lần xuất hiện. So sánh việc loại trừ văn bản được yêu cầu, ngưỡng, che tọa độ hoặc phần tử và các phương án thay thế dựa trên AI; sau đó xác định một phạm vi có thể triển khai và các bài kiểm thử chứng minh hành vi mong muốn đối với văn bản đa ngôn ngữ và động.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi,
I am using Appium Images plugin to perform visual testing, I have found Similarity Calculation and Occurences Lookup to be particularly useful for my use case where I am comparing if a screen matches the baseline, and if a certain element screenshot is present as a subset of screen.
For multilingual apps, I have found one limitation is that it picks up the translation differences which results in reduced value of ComparisonResult. For example,
English Screen
German Screen
Similarity Result
In case, where the baseline screenshot is the same language (English) then the similiarity score comes out to be 0.999995768070221 while when the baseline screenshot is in a different language (German) then the similarity is significantly low 0.8476240038871765 due to the different text on image.
To counter this difference, one approach would be to run tests against different locales in which baseline images stored for comparison correspond to the lanague of app under test. While this approach is helpful, it adds an overhead to run tests on multiple lanaguages and does not scale if no of supported languages is large.
This is also relevant for cases where the text is variable for example, name/address/price of an on-screen element can differ. While mocking the result to have always same values for image comparison can be done, this is not always the possibility and easier to achieve.
For such image comparison, I would like to have a feature that basically ignores any text on the screen when performing image similiarity. Would it be possible to have such an option in SimilarityMatchingOptions where this flag can be passed to either consider or ignore on-screen text together with a threshold value which decided if and how much on-screen text will be taken into account during image similarity check? Another idea is to pass element ID or screen coordinates which should be excluded from image comparison, maybe to mask/blackout them, this way we can manually pass elements which have dynamic text to be excluded for similiarity matching?
Or perhaps if this is not a possibility, would it be possible to achieve this visual testing without relying on external providers and only using Appium MCP with some sort of image comparison tooling either using Images plugin or via LLM native image models. There is a feature request I have also put up for https://github.com/appium/appium-mcp/issues/418. There is a tool available for finding elements using AI but not sure if it can be extnded to also use AI for image comparison.
If there is a rather more suitable approach that already exists, I would be also interested in trying it out. thanks
- Ngôn ngữ chính
- Java
- Star
- 1.3k
- Fork
- 752
- Merge trung bình
- 5 ngày 14 giờ
- Pull request đã merge (30 ngày)
- 8
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của appium/java-client
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 50/100
appium/java-client#2372 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
appium/java-client#2368 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 30/100
appium/java-client#2341 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
appium/java-client#2323 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
java-client 启动报错Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
appium/java-client#2288 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của appium/java-client
Issue tương tự
-
and-bugs and-ui gpx-track
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
Maintainer thường phản hồi trong vòng 2 ngày
-
TerminalRow.mSpaceUsed (short) overflows on terminals wider than 1023 columns, crashing setCharĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
termux/termux-app#5340 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
OpenAICompatibleToolDescriptorSchemaGenerator drops requiredProperties of nested object parametersĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 7 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
apache/rocketmq-dashboard#5110 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
frontend
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
No-Country-simulation/S08-26-equipo04#210 ·
Maintainer thường phản hồi trong vòng 1 ngày