Warning: Grad strides do not match bucket view strides DDP. (Can impact performance)

Repository-Metriken

Stars

18.427 Stars (18.427 Stars)

PR-Merge-Metriken

Keine gemergten PRs in 30 T (Keine gemergten PRs in 30 T)

Beschreibung

...\lib\site-packages\torch\autograd\__init__.py:251: UserWarning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param's strides changed since DDP was constructed.  This is not an error, but may impair performance.
grad.sizes() = [64, 1, 4], strides() = [4, 1, 1]
bucket_view.sizes() = [64, 1, 4], strides() = [4, 4, 1] (Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\torch\csrc\distributed\c10d\reducer.cpp:334.)
  Variable._execution_engine.run_backward(  # Calls into the C++ engine to run the backward pass

Contributor Guide

Research-Richtung

Untersuche die Quelle der Warnung in PyTorchs reducer.cpp, verstehe den Gradienten Layout Vertrag und prüfe, ob sich die Schritte der Parameter während des Trainings ändern. Ziehe die referenzierten Issues #47163 und #43 für mögliche Korrekturen in Betracht.

Tech Stack

pythonpytorch

Domain

backendmachine learning

Issue Type

Fehler

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

1-3 Stunden

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

Aktiv

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

Meist klar

Voraussetzungen

PythonPyTorchDistributed Data Parallel (DDP)

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

40