iOS Simulator (iPad): press lands a fixed offset away in landscape (0,+52 left; +156,0 right) and reports success

Đã đóng
  • Có gì không ổn?
#4,091 4 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Một pull request liên quan đã được merge.

  • #4157 của @thymikee — đã merge

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
55/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
ios, typescript
Lĩnh vực
mobile

Hướng nghiên cứu

Start at the press command's touch-dispatch path and trace how it handles iOS Simulator coordinates after an orientation change. Reproduce on an iPad Simulator in both landscape orientations using the coordinates in the issue, then compare the dispatched touch location with the requested point. Done means presses land at the requested coordinates in portrait and landscape, including selector presses.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug in-progress ready-for-agent

Summary

On an iPad Simulator in landscape, every press lands a fixed distance away from the point asked for, and the command still reports success. The shift depends on the orientation. Portrait is exact. Snapshot rects are correct: the same element's rect from get attrs matches the accessibility frame from another tool, so only the dispatched touch is shifted.

Orientation press at App received the touch at Offset
portrait 120,300 / 600,250 / 760,700 120,300 / 600,250 / 760,700 0,0
landscape-left 120,300 / 600,250 / 300,760 120,352 / 600,302 / 300,812 0,+52
landscape-right 150,300 / 1000,250 306,300 / 1156,250 +156,0

How the landing point was measured: a passive UIGestureRecognizer on the app's key window (cancelsTouchesInView = false) records location(in: window) of every touch. For comparison, the same points tapped through idb/axe (HID) land exactly in every orientation.

Selector presses have the same shift, because they press the (correct) rect centre:

  • press 'label="Settings"' in landscape-left activated the row below it, 52 pt lower.
  • A popup menu pick selected the next menu item.

The settled diff then shows a change, so the wrong tap is reported as ok.

Repro

  1. Boot an iPad Simulator and open any app that fills the screen: agent-device open <bundle-id> --platform ios --udid <udid>.
  2. Rotate: agent-device orientation landscape-left. The app's window becomes 1180x820.
  3. Press a known point: agent-device press 120 300.
  4. The app receives the touch at (120, 352). In landscape-right, press 150 300 arrives at (306, 300).

Our workaround: press a clear spot, read where it landed, and subtract that offset from later presses. After that, taps land exactly in both landscape orientations, so the offset seems to be constant per orientation.

Environment

  • agent-device 0.21.34. The 0.21.35 notes list no related change.
  • Xcode 27.1 (27A9275), iOS 27.1 Simulator runtime, iPad (A16), macOS 27.0.1.
  • The app is a SwiftUI app with full-screen scenes (window "full", not windowed).

This may be related to #1511 (the physical-device unrotated touch space), but on the Simulator the shift is a translation, not a rotation.

Ngôn ngữ chính
TypeScript
Star
5.3k
Fork
377
Merge trung bình
13 giờ 49 phút
Pull request đã merge (30 ngày)
650

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của callstack/agent-device

Tất cả issue của callstack/agent-device

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.