clab/dynet

non-deterministic behavior on the GPU?

Open

#399 aberto em 23 de mar. de 2017

Ver no GitHub
 (7 comments) (0 reactions) (0 assignees)C++ (701 forks)github user discovery
good first issueminor bug

Métricas do repositório

Stars
 (3.433 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

I am unsure why, but we observe some non-deterministic behavior when running on the GPU. The dynet-seed is set (as well as the python seed and the numpy seed), yet the losses in different runs start to diverge after a while (by the 100th update, is almost surely happens).

This does not happen with the same code on the CPU. Maybe there is a race condition somewhere?

See the following gist: https://gist.github.com/yoavg/510154a959e76370627a81da173cec9b

python not_deterministic.py > t1 python not_deterministic.py > t2 diff t1 t1

Guia do colaborador

Direção de pesquisa
Inspecione o código do gist e rastreie a geração de números aleatórios na GPU, verifique se há condições de corrida nas operações.
Pilha de tecnologia
cpppython
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
C++Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40