clab/dynet

non-deterministic behavior on the GPU?

Open

#399 ouverte le 23 mars 2017

Voir sur GitHub
 (7 commentaires) (0 réactions) (0 assignés)C++ (701 forks)github user discovery
good first issueminor bug

Métriques du dépôt

Stars
 (3 433 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

I am unsure why, but we observe some non-deterministic behavior when running on the GPU. The dynet-seed is set (as well as the python seed and the numpy seed), yet the losses in different runs start to diverge after a while (by the 100th update, is almost surely happens).

This does not happen with the same code on the CPU. Maybe there is a race condition somewhere?

See the following gist: https://gist.github.com/yoavg/510154a959e76370627a81da173cec9b

python not_deterministic.py > t1 python not_deterministic.py > t2 diff t1 t1

Guide contributeur

Direction de recherche
Inspectez le code du gist et tracez la generation de nombres aleatoires sur le GPU, verifiez les conditions de concurrence dans les operations.
Stack technique
cpppython
Domaine
machine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
C++Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40