carpedm20/BEGAN-tensorflow

Training loss goes to NaN

Open

#11 ouverte le 14 avr. 2017

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (233 forks)github user discovery
bughelp wanted

Métriques du dépôt

Stars
 (924 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

I started training with Celeb database, but around 50k iteration, the loss goes to NaN & k_t goes to 1. Have you seen this before. 10%|█████▎ | 49650/500000 [5:29:56<49:13:32, 2.54it/s][49650/500000] Loss_D: 0.112764 Loss_G: 0.053848 measure: 0.1190, k_t: 0.0458 10%|█████▎ | 49700/500000 [5:30:16<49:18:01, 2.54it/s][49700/500000] Loss_D: nan Loss_G: nan measure: nan, k_t: 1.0000

Having said that, the output at 49k is starting to look good. Below are my last good outputs (real, d_real, g, d_fake). x_fixed 49500_d_real 49500_g 49500_d_fake

My training stats looks like this began_training_screenshot

Guide contributeur

Direction de recherche
Enquetez sur les causes courantes de perte NaN dans l'entraînement GAN : vérifiez les gradients qui disparaissent/explosent, un taux d'apprentissage trop eleve ou une instabilité numerique. Examinez l'implémentation BEGAN pour des problèmes potentiels dans le calcul de la perte ou l'optimisation.
Stack technique
pythontensorflow
Domaine
machine learningai
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonTensorFlow
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65