Question about the COCO-Object result

Aperta
#2 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
computer-vision, machine-learning

Direzione di ricerca

Start by reproducing the COCO-Object evaluation with the released implementation and the paper's settings, using the standard COCO-Object annotations and background-inclusive evaluation described in the issue. Compare the procedure with the reported Table 1 result, focusing on annotation conversion, prompts, dataset-specific parameters, post-processing, and the decoding bucket size; done means identifying and documenting the source of the 4.3 mIoU discrepancy or confirming the exact evaluation command and data-preparation procedure.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi, thank you for releasing the code.
I tried to reproduce the ActiveSAM result on COCO-Object using the released implementation and the settings provided in the paper. The results on VOC21 and PC60 are consistent with those reported in the paper, but the COCO-Object result is about 4.3 mIoU lower. I will attach my reproduction result below.
I used the standard COCO-Object annotations converted from COCO-Stuff-164K following the commonly used GroupViT/SCLIP protocol, and the evaluation includes the background class. I also verified that the decoding bucket size does not explain the difference.
Could you please clarify whether the reported COCO-Object result used different annotation files, conversion rules, prompts, dataset-specific parameters, or post-processing steps? If possible, could you also provide the exact evaluation command or data-preparation procedure used to obtain the result in Table 1?
Thank you for your help!

Image
Lingua principale
Python
Stelle
18
Fork
0
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di VILA-Lab/ActiveSAM

Tutte le issue di VILA-Lab/ActiveSAM

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.