facebookresearch/fairscale

[feat] make sure AdaScale works with Lightning trainer loop

Aperta

#293 aperta il 6 gen 2021

Vedi su GitHubGuida contributor
 (3 commenti) (0 reazioni) (0 assegnatari)Python (297 fork)auto 404
good first issueicebox

Metriche repository

Star
 (3411 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

🚀 Feature

as title

Motivation

changing the LR schedule based on the effective step is not easy to do for the user, it would be nice to support it without user's change.

Pitch

make sure adascale works without or with small user impacts

Alternatives

not supporting it

Additional context

surface from an internal discussion and use case

Guida contributor

Direzione di ricerca
Studia l'implementazione esistente di AdaScale e il ciclo di addestramento di Lightning per identificare le modifiche necessarie per l'integrazione.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchLightning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40