MobileWorld Benchmark 中 Swipe 动作坐标反转及上下文历史长度咨询

Aperta
#281 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
32/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
mobile-dev

Direzione di ricerca

Start by reviewing the attached AdjustBrightnessMinimumTask.zip trajectory and the Mobile-Agent GUI-Owl configuration, especially the reported history_n=5 setting. Reproduce the Swipe Down behavior and check how the model's coordinates are interpreted; also verify what history window is used for the published AndroidWorld/MobileWorld evaluations. Done means identifying whether the reversed coordinates or history length reflects a bug or configuration choice and documenting a reproducible answer.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

您好,非常感谢团队开源这项优秀的工作!我最近在 MobileWorld Benchmark 上测试时遇到了一些问题,想向您请教。

  1. 问题描述:Swipe 动作坐标反转
    测试模型:
    GUI-Owl-1.5-8B-Instruct
    现象:
    在执行**向下滚动(Swipe Down)**操作时,两个模型输出的起点和终点坐标均出现反转。这导致实际执行效果并非向下滚动,而是向上或无效操作,从而使任务在这一步陷入死循环。

截图说明:
如下图所示,绿色点为预测起点,红色点为预测终点。可以看到对于向下滚动的意图,坐标方向是反的。

Image

复现数据:
该任务的完整轨迹日志已附在下方:

AdjustBrightnessMinimumTask.zip

请问这是已知问题吗?或者是我的模型参数配置有问题?
目前使用了 MobileWorld GUI-OWL 中的默认参数:temperature=0.0,top_p=1.0,history_n 改为了 5.

  1. 咨询:评估时的上下文历史长度
    关于公开的 AndroidWorld/MobileWorld 评测结果:
    在构建上下文(Context)时,默认是保留最近的 5 张图片吗?还是使用了其他长度的历史窗口?
    期待您的回复,再次感谢!
Lingua principale
Python
Stelle
9.3k
Fork
928
Merge medio
1g 2h
PR unite (30g)
3

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di X-PLUG/MobileAgent

Tutte le issue di X-PLUG/MobileAgent

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.