Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

No usable route to type into a web text field when the app loses keyboard focus between calls

Đang mở
  • Có gì không ổn?
#177 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
macos, swift
Lĩnh vực
desktop, developer-experience

Hướng nghiên cứu

Start by tracing the desktop_insert, desktop_set_value, and desktop_focus tool entry points and the refusal hints described in the issue; the payload names no source files or tests. Compare ways to deliver text when the target window loses keyboard focus, including the suggested foreground typing or atomic focus-and-type routes. Done means text entry works reliably in the described Safari scenario and the hint no longer recommends a refused route.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

What happened

Filling a text input on a React page (Proton VPN's WireGuard config form) in
Safari. The agent runs from a terminal, so the terminal keeps taking keyboard
focus back between tool calls. Every available route refuses, and two of the
refusals point at each other:

desktop_insert route=type
→ "Invalid target: Exact-window keyboard focus is not on the target window at
   dispatch... To write into this window without focusing it, observe it and
   set its editable element's accessibility value (`set-value` command,
   `set_value` tool)."

desktop_set_value
→ "Set a date as ISO 8601... Use desktop_type for text."

insert says use set_value; set_value says use typing. For a text field in
a window that doesn't hold keyboard focus there is no route that succeeds.

desktop_focus does work, but focus is lost again before the next call lands
(each action needs a fresh snapshot, and the terminal reclaims focus in
between), so focus → inspect → insert is racy and failed repeatedly.

Why set_value is refused here is understandable

I'm aware AX value writes on web inputs don't fire JS input/change events, so
React would keep the old value — that's documented behaviour and refusing is
reasonable. The problem is that no alternative is offered for this situation.

Suggestions (any one would unblock)
  1. A foreground typing route — activate the app, type with real keys,
    return unknown with a readback, consistent with how modifier-clicks and
    drags already work.
  2. Make desktop_focus + type atomic, so focus can't be lost between the
    observation and the dispatch.
  3. Let expect on desktop_focus gate until the window actually holds
    keyboard focus, so the agent can sequence reliably.

The refusal hint should also not recommend set_value for a text field, since
that path is unconditionally refused.

Environment

Desktop Tools 0.16.1, macOS 27, Safari 27, agent running from Ghostty

Ngôn ngữ chính
Swift
Star
0
Fork
0
Merge trung bình
39 phút
Pull request đã merge (30 ngày)
144

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/desktop-tools

Tất cả issue của githubnext/desktop-tools

Issue tương tự

Thêm issue về Swift

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.