Lightning-AI/pytorch-lightning

Documentation: writing custom samplers compatible with multi GPU training

Open

#19.964 geöffnet am 10. Juni 2024

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (3.233 Forks)batch import
docshelp wanted

Repository-Metriken

Stars
 (26.687 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 15h) (3 gemergte PRs in 30 T)

Beschreibung

📚 Documentation

Hi,

I'm trying to run distributed training with a custom sampler for the first time. The idea is rather simple (fixed budget for each class) and works fine in single GPU. When moving to multi GPU, unsurprisingly I get an error message, which tells me that I should subclass BatchSampler.

TypeError:  Lightning can't inject a (distributed) sampler into your batch sampler, because it doesn't subclass PyTorch's `BatchSampler`. To mitigate this, either follow the API of `BatchSampler` or set `Trainer(use_distributed_sampler=False)`. If you choose the latter, you will be responsible for handling the distributed sampling within your batch sampler.

It is my understanding that torch's BatchSampler takes one (single-sample) Sampler and samples from that repeatedly to fill up the batch size. Are there any guidelines for how samplers should be built to be compatible with the sampler injection? I can't seem to find it in the docs.

cc @borda

Contributor Guide

Research-Richtung
Untersuche die PyTorch Lightning Dokumentation fĂŒr benutzerdefinierte Sampler, insbesondere das Unterklassen von BatchSampler. Sieh dir den Quellcode von DistributedSampler und verwandten Klassen an. Implementiere einen einfachen benutzerdefinierten Batch Sampler, der von BatchSampler erbt, und teste ihn mit Multi GPU unter Verwendung von Trainer(use distributed sampler=True).
Tech Stack
python
Domain
machine learning
Issue Type
Dokumentation
SchwierigkeitGeschĂ€tzte Implementierungsschwierigkeit fĂŒr neue Contributors, von 1 fĂŒr sehr kleine Änderungen bis 5 fĂŒr Expertenarbeit.
2
GeschÀtzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitĂ€tsstatusWie verfĂŒgbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nĂ€chsten Schritt erklĂ€rt.
Klar
Voraussetzungen
PyTorchLightning
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schĂ€tzt, wie zugĂ€nglich dieses Issue fĂŒr First-Time Contributors ist.
75