clab/dynet

non-deterministic behavior on the GPU?

Open

#399 aperta il 23 mar 2017

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)C++ (701 fork)github user discovery
good first issueminor bug

Metriche repository

Star
 (3433 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I am unsure why, but we observe some non-deterministic behavior when running on the GPU. The dynet-seed is set (as well as the python seed and the numpy seed), yet the losses in different runs start to diverge after a while (by the 100th update, is almost surely happens).

This does not happen with the same code on the CPU. Maybe there is a race condition somewhere?

See the following gist: https://gist.github.com/yoavg/510154a959e76370627a81da173cec9b

python not_deterministic.py > t1 python not_deterministic.py > t2 diff t1 t1

Guida contributor

Direzione di ricerca
Ispeziona il codice del gist e traccia la generazione di numeri casuali sulla GPU, verifica la presenza di race condition nelle operazioni.
Tech stack
cpppython
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40