huawei-noah/vega

searching valid metric is better than re-train valid metric in autoFIS?

Aperta

#107 aperta il 8 apr 2021

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Python (177 fork)auto 404
good first issuequestion

Metriche repository

Star
 (848 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Thank you for your excellent codes. I run your autoFIS codes (autoDeepFM), but found that the valid metric after searching (auc=0.7896248002165958) is better than the retrain valid metric (auc=0.7851094769386633) in the log. i.e. [searching valid metric] > [re-train valid metric] > [official valid metric], it looks like the performance improvement is achieved by BN but autofis damages the valid metric. Something wrong ?

the valid metric after searching: image the valid metric after re-train: image

Guida contributor

Direzione di ricerca
Investigare l'effetto della normalizzazione batch (BN) durante la fase di ricerca rispetto alla fase di riaddestramento in autoFIS. Confrontare l'architettura del modello e la configurazione di addestramento tra le due fasi, concentrandosi se BN viene applicata diversamente. Verificare se la fase di ricerca sovra adatta o utilizza divisioni dei dati diverse.
Tech stack
python
Dominio
aimachine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythondeep learning basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70