No usable route to type into a web text field when the app loses keyboard focus between calls
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- macos, swift
調査の方向性
Start by tracing the desktop_insert, desktop_set_value, and desktop_focus tool entry points and the refusal hints described in the issue; the payload names no source files or tests. Compare ways to deliver text when the target window loses keyboard focus, including the suggested foreground typing or atomic focus-and-type routes. Done means text entry works reliably in the described Safari scenario and the hint no longer recommends a refused route.
索引モデルが issue の本文から書いたものです。
説明
What happened
Filling a text input on a React page (Proton VPN's WireGuard config form) in
Safari. The agent runs from a terminal, so the terminal keeps taking keyboard
focus back between tool calls. Every available route refuses, and two of the
refusals point at each other:
desktop_insert route=type
→ "Invalid target: Exact-window keyboard focus is not on the target window at
dispatch... To write into this window without focusing it, observe it and
set its editable element's accessibility value (`set-value` command,
`set_value` tool)."
desktop_set_value
→ "Set a date as ISO 8601... Use desktop_type for text."
insert says use set_value; set_value says use typing. For a text field in
a window that doesn't hold keyboard focus there is no route that succeeds.
desktop_focus does work, but focus is lost again before the next call lands
(each action needs a fresh snapshot, and the terminal reclaims focus in
between), so focus → inspect → insert is racy and failed repeatedly.
Why set_value is refused here is understandable
I'm aware AX value writes on web inputs don't fire JS input/change events, so
React would keep the old value — that's documented behaviour and refusing is
reasonable. The problem is that no alternative is offered for this situation.
Suggestions (any one would unblock)
- A foreground typing route — activate the app, type with real keys,
returnunknownwith a readback, consistent with how modifier-clicks and
drags already work. - Make
desktop_focus+ type atomic, so focus can't be lost between the
observation and the dispatch. - Let
expectondesktop_focusgate until the window actually holds
keyboard focus, so the agent can sequence reliably.
The refusal hint should also not recommend set_value for a text field, since
that path is unconditionally refused.
Environment
Desktop Tools 0.16.1, macOS 27, Safari 27, agent running from Ghostty
- 主要言語
- Swift
- スター
- 0
- フォーク
- 0
- 平均マージ
- 39分
- マージ済み PR(30日)
- 144
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/desktop-tools のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
githubnext/desktop-tools#192 ·
メンテナーはふだん 1 日以内に返信
-
ace documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
githubnext/desktop-tools#104 ·
メンテナーはふだん 1 日以内に返信
-
Status-item NSMenu (MenuBarExtra .menu): opens but can't be inspected via Accessibility or dismissedオープン
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
githubnext/desktop-tools#193 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
githubnext/desktop-tools#191 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
githubnext/desktop-tools#179 ·
メンテナーはふだん 1 日以内に返信
githubnext/desktop-tools の issue をすべて見る
似ている issue
-
product / auth product / databases product / functions product / messaging product / storage product / vcs
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
ci-failure ci:assertion test
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
openwatersio/slackwater-ios#811 ·
メンテナーはふだん 1 日以内に返信
-
ai-assisted
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
swiftlang/swift-testing#1979 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 63/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
foxglove/mcap#1907 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信