Lightning-AI/pytorch-lightning

Support uneven DDP inputs with pytorch model.join

Open

#3325 aperta il 2 set 2020

Vedi su GitHub
 (27 commenti) (13 reazioni) (0 assegnatari)Python (3233 fork)batch import
3rd partydistributedfeaturehelp wanted

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

See more details: https://github.com/pytorch/pytorch/issues/38174

cc @borda @tchaton @rohitgr7 @akihironitta @awaelchli

Guida contributor

Direzione di ricerca
Leggi il problema PyTorch di riferimento (https://github.com/pytorch/pytorch/issues/38174) per comprendere l'API model.join. Esamina come vengono gestiti gli input non uniformi nell'integrazione DDP di PyTorch Lightning. Cerca discussioni esistenti o implementazioni parziali nel codebase. Considera quali modifiche sono necessarie per supportare input non uniformi (ad esempio, padding, aggiustamenti della sincronizzazione del gradiente).
Tech stack
pythonpytorch
Dominio
machine learningdistributed systems
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonPyTorchDistributed training concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25