UI-S1的开源评测数据集,标注的click坐标不在图标上
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 32/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning, testing-qa
Direzione di ricerca
Start with the second record for episode 8197 in UI-S1/datasets/android_control_evaluation_std.jsonl, then read /evaluation/eval_qwenvl.py and its check_click function. Compare how the annotated coordinate and model prediction are scaled before matching, using the original and resized image dimensions in the report. Done means identifying whether the annotation or evaluation transformation causes the mismatch and documenting the expected matching result.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
https://github.com/X-PLUG/MobileAgent/blob/main/UI-S1/datasets/android_control_evaluation_std.jsonl中的第二条测试数据。
{"goal": "I'd like to add this item to my cart.", "is_successful": true, "steps": [{"action_content": {"action": "click", "coordinate": [542, 2226]}, "screenshot": "/datasets/AndroidControl/images/8197_0.png", "step_instruction": "click on the Add to cart button", "check_options": {"action": "click", "candidate_bbox": [[0, 262, 1084, 2339]], "coordinate": [542, 2226]}}, {"action_content": {"action": "wait", "time": 2}, "screenshot": "/datasets/AndroidControl/images/8197_1.png", "step_instruction": "click on the Add to cart button", "check_options": {"action": "wait", "time": 2}}, {"action_content": {"action": "wait", "time": 2}, "screenshot": "/datasets/AndroidControl/images/8197_2.png", "step_instruction": "click on the Add to cart button", "check_options": {"action": "wait", "time": 2}}], "episode_id": 8197}
此{"action": "click", "coordinate": [542, 2226]},动作对应的点击坐标不在图标上(如图1红点)
而开源的ui-s1的7B模型输出为:{"action": "click", "coordinate": [795, 2261]},动作对应的点击坐标在图标中心(如图2红点)。
请问是test数据集的问题还是别的问题?
在运行python /evaluation/eval_qwenvl.py --model_name UI-S1-7B指令评估时,有对image进行resize.
resize前后对比如下:
current_check_pam:{'action': 'click', 'coordinate': [0.5018518518518519, 0.9275], 'candidate_bbox': []}
原始图像:(width, height)= (1080,2400 )
标注数据: {"action": "click", "coordinate": [542, 2226]}
pred_action:'candidate_bbox': []} {'action': 'click', 'coordinate': [0.728021978021978, 0.938953488372093]}
resize图像:(resized_width, resized_height) = (1092,2408)
eval输出数据:{"action": "click", "coordinate": [795, 2261]}
在def check_click(click, candidate_bbox, gt_point)中返回了false. 导致针对8197_0.png的step被判为 not extract_match
- Lingua principale
- Python
- Stelle
- 9.3k
- Fork
- 928
- Merge medio
- 1g 2h
- PR unite (30g)
- 3
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di X-PLUG/MobileAgent
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
X-PLUG/MobileAgent#304 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 60/100
X-PLUG/MobileAgent#282 · 1 commento ·
-
Difficoltà 2/5 Meno di un'ora Idoneità per principianti 80/100
X-PLUG/MobileAgent#271 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
X-PLUG/MobileAgent#192 · 1 commento ·
-
Mobile-Agent-v2 依赖版本问题Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
X-PLUG/MobileAgent#152 · 5 commenti ·
Tutte le issue di X-PLUG/MobileAgent
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Unused loot bag group names left in dreamcraft en_US.langForse già presa Una pull request collegata a questa issue è aperta o già unita. ApertaStatus: Triage Suggestion
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
I maintainer di solito rispondono entro 1 giorno
-
bug frontend sev-5
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
-
core good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
b4b code health next
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ESCOMP/CTSM#4330 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno