Lightning-AI/pytorch-lightning

Distributed mode overwrites the user's choice for dataloaders shuffling

Open

#10.170 geöffnet am 27. Okt. 2021

Auf GitHub ansehen
 (8 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (3.233 Forks)batch import
data handlingfeaturehelp wanted

Repository-Metriken

Stars
 (26.687 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 15h) (3 gemergte PRs in 30 T)

Beschreibung

🐛 Bug

I ordered my training data in a specific manner and passed it to the DataLoader with shuffle=False (I use reload_dataloaders_every_n_epochs=1 to control it every epoch). Then, I found out that running in distributed mode re-creates the train dataloader and always set shuffle=True. The opposite happens for the val dataloader.

I think that the re-creation of the dataloaders must be using the same shuffle setting the original dataloaders had. Is there any reason not to do so?

Here is the related code with the hard-coded shuffle values:

train - shuffle forced to be true https://github.com/PyTorchLightning/pytorch-lightning/blob/c33df2639f19d49c5e7520294e3221efe402d684/pytorch_lightning/trainer/data_loading.py#L330-L333

val - shuffle forced to be true https://github.com/PyTorchLightning/pytorch-lightning/blob/c33df2639f19d49c5e7520294e3221efe402d684/pytorch_lightning/trainer/data_loading.py#L442-L443

cc @borda @justusschock @awaelchli

Contributor Guide

Research-Richtung
Überprüfen Sie die Datei data loading.py, um zu finden, wo der DataLoader im verteilten Modus neu erstellt wird, und stellen Sie sicher, dass der Shuffle Parameter aus dem ursprünglichen DataLoader kopiert wird, anstatt fest auf True gesetzt zu sein.
Tech Stack
python
Domain
backenddistributed systems
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchpytorch lightning
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75