tusen-ai/SST

error in performanece of fsdv2

Open

#137 aperta il 21 ago 2023

Vedi su GitHub
 (17 commenti) (0 reazioni) (0 assegnatari)Python (106 fork)github user discovery
good first issue

Metriche repository

Star
 (883 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I tried to train fsdv2 on waymo perception V1_4_0，and get the performance on validation set as follows. which is much lower than the performance in the paper

OBJECT_TYPE_TYPE_VEHICLE_LEVEL_1: [mAP 0.749648] [mAPH 0.745259] OBJECT_TYPE_TYPE_VEHICLE_LEVEL_2: [mAP 0.669701] [mAPH 0.66562] OBJECT_TYPE_TYPE_PEDESTRIAN_LEVEL_1: [mAP 0.80301] [mAPH 0.755212] OBJECT_TYPE_TYPE_PEDESTRIAN_LEVEL_2: [mAP 0.73128] [mAPH 0.685319] OBJECT_TYPE_TYPE_SIGN_LEVEL_1: [mAP 0] [mAPH 0] OBJECT_TYPE_TYPE_SIGN_LEVEL_2: [mAP 0] [mAPH 0] OBJECT_TYPE_TYPE_CYCLIST_LEVEL_1: [mAP 0.744445] [mAPH 0.734285] OBJECT_TYPE_TYPE_CYCLIST_LEVEL_2: [mAP 0.719278] [mAPH 0.709439]

image

This is the config I used fsdv2_waymo_full_2x.txt

Guida contributor

Direzione di ricerca
Confronta la tua configurazione di addestramento con le impostazioni predefinite del paper, controlla la preelaborazione e l'aumento dei dati e verifica la correttezza dell'architettura del modello.
Tech stack
python
Dominio
ai
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40