识别图片坐标误差很大,只是打开美团,淘宝app 这种 操作,实现不了

Aperta
#246 3 commenti 1 reazione 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
50/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
machine-learning, python
Ambito
mobile-dev

Direzione di ricerca

Start from run_mobileagentv3.py to trace how the model's JSON response is parsed into actions, and verify whether the coordinate system (normalized 0-1000 vs absolute pixels) matches the device screen resolution. Examine the prompt sent to qwen3-vl-plus to see if it specifies the expected coordinate format, and investigate whether adding OCR preprocessing or adjusting the prompt can improve grounding accuracy. Look for existing tests or evaluation scripts that measure coordinate error to validate any changes.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

python run_mobileagentv3.py --adb_path "/Users/yangxin/Library/Android/sdk/platform-tools/adb" --api_key "sk-03f0c80673ec49949c62c8bc24b5410d" --base_url "https://dashscope.aliyuncs.com/compatible-mode/v1" --model "qwen3-vl-plus" --instruction "open app(淘宝)" --add_info "Some supplementary knowledge, can also be empty"

返回日志点击的点
Action: {"action": "click", "coordinate": [375, 241]}
Action: {"action": "click", "coordinate": [384, 237]}
Action: {"action": "click", "coordinate": [426, 910]}
Action: {"action": "long_press", "coordinate": [384, 237]}
Action: {"action": "swipe", "coordinate": [499, 738], "coordinate2": [499, 306]}
Action: {"action": "swipe", "coordinate": [499, 738], "coordinate2": [499, 290]}
Action: {"action": "click", "coordinate": [384, 237]}

实际测量位置:左上角位置(400,551)右下角(548,730)
不知道为什么识别不到。用OCR 能识别到么?有什么api调用么?

Lingua principale
Python
Stelle
9.3k
Fork
928
Merge medio
1g 2h
PR unite (30g)
3

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di X-PLUG/MobileAgent

Tutte le issue di X-PLUG/MobileAgent

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.