Accessibility inspect returns far-offscreen elements, blowing the budget on long pages
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- macos, swift
- 領域
- accessibility, desktop
調査の方向性
Start by reading the accessibility inspection implementation and how it applies scope and element budgets; the issue does not name specific files or tests. Compare the returned element bounds with the window’s visible rectangle and check how truncation selects elements. Done means inspection can prioritize or limit offscreen elements so visible, actionable elements survive truncation.
索引モデルが issue の本文から書いたものです。
説明
What happened
Inspecting a Safari window showing Proton VPN's WireGuard config page returned
~25k tokens and was truncated ("truncated": true, "omitted": 964), dropping
elements the agent needed. The page has a 240-country server list below the
form.
The output includes a large number of elements that are nowhere near the
visible window (window is 1298x953):
{"id":"elem_52", "label":"Downloads", "bounds":[337,-739,949,51]}
{"id":"elem_60", "label":"Download Android", "bounds":[384,-379,85,30]}
{"id":"elem_88", "label":"form", "bounds":[337,96,949,7117]}
{"id":"elem_520","label":"Eritrea Eritrea 1 city", "bounds":[337,2733,949,41]}
Elements at y=-739 and y=2733 on a 953pt-tall window can't be acted on
without scrolling first, but they consume the element budget ahead of elements
that are actually visible.
scope doesn't help here
The documented workaround is to scope to a container, but the only container
that holds the form (elem_88, the form group) also contains the whole
country list — its bounds are 7117pt tall. Scoping returned the same
truncation.
Suggestion
Add a way to limit inspection to what's actionable:
- a
visible_onlyflag that drops elements whose bounds don't intersect the
window's visible rect, or - a
max_depth, or - spend the element budget on intersecting elements first, so truncation drops
offscreen content rather than visible content.
For an agent driving a page, offscreen elements are close to useless: any
action on them is refused until scrolled into view anyway.
Workaround used
mode: pixels + point clicks, which is cheap but gives up element targeting
and can't do text insertion.
Environment
Desktop Tools 0.16.1, macOS 27, Safari 27
- 主要言語
- Swift
- スター
- 0
- フォーク
- 0
- 平均マージ
- 39分
- マージ済み PR（30日）
- 144
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/desktop-tools のほかの issue
-
ace documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
githubnext/desktop-tools#104 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
githubnext/desktop-tools#179 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
githubnext/desktop-tools#177 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 67/100
githubnext/desktop-tools#176 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
githubnext/desktop-tools#159 ·
メンテナーはふだん 1 日以内に返信
githubnext/desktop-tools の issue をすべて見る
似ている issue
-
a:false-positive
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
メンテナーはふだん 1 日以内に返信
-
Idle CPU stays at ~8% after the "Text wasn't inserted" card is shown once対応中かも @nickbecker が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
altic-dev/FluidVoice#1217 ·
メンテナーはふだん 1 日以内に返信
-
BrainBar Watcher chart: unavailable-flow tooltip/accessibility drops the health reason for .attention/.stopped対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
EtanHey/brainlayer#1439 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
alejandrobujan/tendedero#98 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
vorssaint/vorssaint-utils#3368 ·
メンテナーはふだん 1 日以内に返信