Lightning-AI/pytorch-lightning

Support uneven DDP inputs with pytorch model.join

Open

#3.325 geöffnet am 2. Sept. 2020

Auf GitHub ansehen
 (27 Kommentare) (13 Reaktionen) (0 zugewiesene Personen)Python (3.233 Forks)batch import
3rd partydistributedfeaturehelp wanted

Repository-Metriken

Stars
 (26.687 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 15h) (3 gemergte PRs in 30 T)

Beschreibung

See more details: https://github.com/pytorch/pytorch/issues/38174

cc @borda @tchaton @rohitgr7 @akihironitta @awaelchli

Contributor Guide

Research-Richtung
Lesen Sie das referenzierte PyTorch Problem (https://github.com/pytorch/pytorch/issues/38174), um die model.join API zu verstehen. Untersuchen Sie, wie ungleichmäßige Eingaben in der DDP Integration von PyTorch Lightning behandelt werden. Suchen Sie nach vorhandenen Diskussionen oder Teilimplementierungen im Codebestand. Überlegen Sie, welche Änderungen erforderlich sind, um ungleichmäßige Eingaben zu unterstützen (z. B. Padding, Anpassungen der Gradientensynchronisation).
Tech Stack
pythonpytorch
Domain
machine learningdistributed systems
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
PythonPyTorchDistributed training concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
25