Warning: Grad strides do not match bucket view strides DDP. (Can impact performance)

Métricas do repositório

Stars

18.427 stars (18.427 stars)

Métricas de merge de PR

Nenhuma PRs mesclada em 30d (Nenhuma PRs mesclada em 30d)

Description

...\lib\site-packages\torch\autograd\__init__.py:251: UserWarning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param's strides changed since DDP was constructed.  This is not an error, but may impair performance.
grad.sizes() = [64, 1, 4], strides() = [4, 1, 1]
bucket_view.sizes() = [64, 1, 4], strides() = [4, 4, 1] (Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\torch\csrc\distributed\c10d\reducer.cpp:334.)
  Variable._execution_engine.run_backward(  # Calls into the C++ engine to run the backward pass

Guia do colaborador

Direção de pesquisa

Investigue a origem do aviso no reducer.cpp do PyTorch, entenda o contrato de layout do gradiente e verifique se os strides dos parâmetros mudam durante o treinamento. Considere as issues referenciadas #47163 e #43 para possíveis correções.

Pilha de tecnologia

pythonpytorch

Domain

backendmachine learning

Tipo Issue

Bug

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

1-3 horas

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

Ativo

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

Principalmente claro

Prerequisites

PythonPyTorchDistributed Data Parallel (DDP)

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

40