MobileWorld Benchmark 中 Swipe 动作坐标反转及上下文历史长度咨询

オープン
#281 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
32/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
静か
技術スタック
python
領域
mobile-dev

調査の方向性

Start by reviewing the attached AdjustBrightnessMinimumTask.zip trajectory and the Mobile-Agent GUI-Owl configuration, especially the reported history_n=5 setting. Reproduce the Swipe Down behavior and check how the model's coordinates are interpreted; also verify what history window is used for the published AndroidWorld/MobileWorld evaluations. Done means identifying whether the reversed coordinates or history length reflects a bug or configuration choice and documenting a reproducible answer.

索引モデルが issue の本文から書いたものです。

説明

您好,非常感谢团队开源这项优秀的工作!我最近在 MobileWorld Benchmark 上测试时遇到了一些问题,想向您请教。

  1. 问题描述:Swipe 动作坐标反转
    测试模型:
    GUI-Owl-1.5-8B-Instruct
    现象:
    在执行**向下滚动(Swipe Down)**操作时,两个模型输出的起点和终点坐标均出现反转。这导致实际执行效果并非向下滚动,而是向上或无效操作,从而使任务在这一步陷入死循环。

截图说明:
如下图所示,绿色点为预测起点,红色点为预测终点。可以看到对于向下滚动的意图,坐标方向是反的。

Image

复现数据:
该任务的完整轨迹日志已附在下方:

AdjustBrightnessMinimumTask.zip

请问这是已知问题吗?或者是我的模型参数配置有问题?
目前使用了 MobileWorld GUI-OWL 中的默认参数:temperature=0.0,top_p=1.0,history_n 改为了 5.

  1. 咨询:评估时的上下文历史长度
    关于公开的 AndroidWorld/MobileWorld 评测结果:
    在构建上下文(Context)时,默认是保留最近的 5 张图片吗?还是使用了其他长度的历史窗口?
    期待您的回复,再次感谢!
主要言語
Python
スター
9.3k
フォーク
928
平均マージ
1日 2時間
マージ済み PR(30日)
3

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

X-PLUG/MobileAgent のほかの issue

X-PLUG/MobileAgent の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。