MobileWorld Benchmark 中 Swipe 动作坐标反转及上下文历史长度咨询

Abierto
#281 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
32/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Tranquilo
Stack tecnológico
python
Área
mobile-dev

Línea de trabajo

Start by reviewing the attached AdjustBrightnessMinimumTask.zip trajectory and the Mobile-Agent GUI-Owl configuration, especially the reported history_n=5 setting. Reproduce the Swipe Down behavior and check how the model's coordinates are interpreted; also verify what history window is used for the published AndroidWorld/MobileWorld evaluations. Done means identifying whether the reversed coordinates or history length reflects a bug or configuration choice and documenting a reproducible answer.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

您好,非常感谢团队开源这项优秀的工作!我最近在 MobileWorld Benchmark 上测试时遇到了一些问题,想向您请教。

  1. 问题描述:Swipe 动作坐标反转
    测试模型:
    GUI-Owl-1.5-8B-Instruct
    现象:
    在执行**向下滚动(Swipe Down)**操作时,两个模型输出的起点和终点坐标均出现反转。这导致实际执行效果并非向下滚动,而是向上或无效操作,从而使任务在这一步陷入死循环。

截图说明:
如下图所示,绿色点为预测起点,红色点为预测终点。可以看到对于向下滚动的意图,坐标方向是反的。

Image

复现数据:
该任务的完整轨迹日志已附在下方:

AdjustBrightnessMinimumTask.zip

请问这是已知问题吗?或者是我的模型参数配置有问题?
目前使用了 MobileWorld GUI-OWL 中的默认参数:temperature=0.0,top_p=1.0,history_n 改为了 5.

  1. 咨询:评估时的上下文历史长度
    关于公开的 AndroidWorld/MobileWorld 评测结果:
    在构建上下文(Context)时,默认是保留最近的 5 张图片吗?还是使用了其他长度的历史窗口?
    期待您的回复,再次感谢!
Lenguaje dominante
Python
Estrellas
9.3k
Forks
928
Merge medio
1 d 2 h
PR fusionados (30 d)
3

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de X-PLUG/MobileAgent

Todos los issues de X-PLUG/MobileAgent

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.