carpedm20/BEGAN-tensorflow

Training loss goes to NaN

Open

#11 aperta il 14 apr 2017

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (233 fork)github user discovery
bughelp wanted

Metriche repository

Star
 (924 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I started training with Celeb database, but around 50k iteration, the loss goes to NaN & k_t goes to 1. Have you seen this before. 10%|█████▎ | 49650/500000 [5:29:56<49:13:32, 2.54it/s][49650/500000] Loss_D: 0.112764 Loss_G: 0.053848 measure: 0.1190, k_t: 0.0458 10%|█████▎ | 49700/500000 [5:30:16<49:18:01, 2.54it/s][49700/500000] Loss_D: nan Loss_G: nan measure: nan, k_t: 1.0000

Having said that, the output at 49k is starting to look good. Below are my last good outputs (real, d_real, g, d_fake). x_fixed 49500_d_real 49500_g 49500_d_fake

My training stats looks like this began_training_screenshot

Guida contributor

Direzione di ricerca
Indaga le cause comuni della perdita NaN nell'addestramento GAN: verifica gradienti che svaniscono/esplodono, tasso di apprendimento troppo alto o instabilità numerica. Esamina l'implementazione BEGAN per potenziali problemi nel calcolo della perdita o nell'ottimizzazione.
Tech stack
pythontensorflow
Dominio
machine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonTensorFlow
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65