--resume fails after 1 epoch with Pytorch 1.0 release

Métricas do repositório

Stars

21.634 stars (21.634 stars)

Métricas de merge de PR

Nenhuma PRs mesclada em 30d (Nenhuma PRs mesclada em 30d)

Description

Traceback (most recent call last):
  File "main.py", line 398, in <module>
    main()
  File "main.py", line 110, in main
    mp.spawn(main_worker, nprocs=ngpus_per_node, args=(ngpus_per_node, args))
  File "/home/tools/anaconda3-5.3/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 167, in spawn
    while not spawn_context.join():
  File "/home/tools/anaconda3-5.3/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 114, in join
    raise Exception(msg)
Exception:

-- Process 1 terminated with the following error:
Traceback (most recent call last):
  File "/home/tools/anaconda3-5.3/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 19, in _wrap
    fn(i, *args)
  File "/space8T/mdflickner/pytorch/examples/imagenet/main.py", line 241, in main_worker
    is_best = acc1 > best_acc1
RuntimeError: arguments are located on different GPUs at /pytorch/aten/src/THC/generic/THCTensorMathCompareT.cu:15

Guia do colaborador

Direção de pesquisa

Inspecione a função main worker em main.py (linha 241), onde a comparação entre best acc1 e acc1 causa um RuntimeError devido a diferentes alocações de GPU. Rastreie como best acc1 é inicializado e atualizado ao longo das épocas, e garanta que ambos os tensores sejam movidos para o mesmo dispositivo. Além disso, revise a lógica resume para verificar se os state dicts são carregados no dispositivo correto. O erro é reproduzível com resnet50/18 no PyTorch 1.0.

Pilha de tecnologia

pythonpytorch

Domain

backendmachine learning

Tipo Issue

Bug

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

Meio dia

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

Ativo

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

Precisa de investigação

Prerequisites

PythonPyTorch

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

40