Warning: Grad strides do not match bucket view strides DDP. (Can impact performance)

Metriche repository

Star

18.427 star (18.427 star)

Metriche merge PR

Nessuna PR mergiata in 30 g (Nessuna PR mergiata in 30 g)

Descrizione

...\lib\site-packages\torch\autograd\__init__.py:251: UserWarning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param's strides changed since DDP was constructed.  This is not an error, but may impair performance.
grad.sizes() = [64, 1, 4], strides() = [4, 1, 1]
bucket_view.sizes() = [64, 1, 4], strides() = [4, 4, 1] (Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\torch\csrc\distributed\c10d\reducer.cpp:334.)
  Variable._execution_engine.run_backward(  # Calls into the C++ engine to run the backward pass

Guida contributor

Direzione di ricerca

Investiga la fonte dell'avviso in reducer.cpp di PyTorch, comprendi il contratto di layout del gradiente e verifica se gli strides dei parametri cambiano durante l'addestramento. Considera i problemi referenziati #47163 e #43 per possibili correzioni.

Tech stack

pythonpytorch

Dominio

backendmachine learning

Tipo issue

Bug

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-3 ore

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Abbastanza chiara

Prerequisiti

PythonPyTorchDistributed Data Parallel (DDP)

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

40