Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Computer Use (Windows/UIA): snapshot element list is flattened in reverse pre-order; ToggleState not exposed

Đang mở
  • Có gì không ổn?
#67 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
49/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
desktop

Hướng nghiên cứu

Start by tracing the Windows computer-use snapshot code that builds the flat element listing and renders element attributes; the issue does not name those files or tests. Check how traversal order is produced and which UIA properties are included. Done means the listing follows forward pre-order (or documents its order) and exposes applicable state attributes, including ToggleState; run the relevant snapshot tests.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Environment
  • ZCode computer-use plugin 0.6.3 (official), Windows 10 x64 (19045)
  • App under test: a GPUI (gpui-kit 0.7.0) Todo list on Windows, observed via the
    UIA accessibility path (get_app_state / getAXState)
Summary

Two consumer-side issues in the Windows computer-use snapshot element listing:

  1. Element order is reverse pre-order. The flat element list enumerates the
    UIA tree like a stack-based DFS that emits a node before pushing its
    children in order — equivalent to a DFS pre-order with every sibling group
    reversed. Flat indices therefore do not match visual order: within each
    container the list runs bottom-row → top-row. We verified this across four
    distinct container levels in one app (table rows, a toolbar, a form row, an
    inline edit card).

  2. ToggleState is missing from the listing. Checkbox elements show only
    checkbox (pressable) actions=[AXToggle,AXPress] with no state field, even
    though the element advertises the toggle action — which in UIA implies the
    Toggle pattern is registered and UIA_ToggleToggleStatePropertyId is
    readable. (By contrast, textfield value is shown, so attribute display
    is selective rather than absent.)

Why we're confident it's the snapshot layer, not the app toolkit

We verified the app's whole a11y chain is strictly order-preserving and
state-reporting:

  • gpui builds accesskit children in document order during prepaint DFS
    (window/a11y.rs:429-440, element.rs:367-406); NodeId is identity-only.
  • accesskit 0.24.1 Node.children is an ordered Vec; accesskit_consumer 0.38.0
    iterates it unchanged; accesskit_windows 0.34.0 Navigate uses
    filtered_children order (the filter drops, never reorders).
  • accesskit_windows registers TogglePattern with a proper ToggleState for
    checkboxes (node.rs:575-585, 1332-1335).
  • Windows Inspect.exe shows the same tree in visual order with readable
    ToggleState.

Replaying 12 captured snapshots against the reverse-pre-order model reproduced
the emitted listing character-for-character, including which elements
appear before/after others in every container. Tree-shape changes (adding a
row, opening an edit card) explain all frame-to-frame index shifts.

Impact

An agent clicking by flat index hits a visually different row than intended
(observed: "click row 2 by index" landed on visual row 3 — the click used the
element's own bounds, so it struck the element the index actually named).
Checkbox verification cannot be asserted from the snapshot at all.

Suggested fixes
  • Flatten in forward pre-order (FirstChild → NextSibling semantics), or at
    minimum document that flat order is reverse pre-order.
  • Include state attributes in element lines: ToggleState (On/Off), Value,
    IsSelected where applicable.
Ngôn ngữ chính
Python
Star
86
Fork
51
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của zai-org/zcode-plugins

Tất cả issue của zai-org/zcode-plugins

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.