pyro-ppl/pyro

[FR] Support Automatic Mixed Precision training

Open

#3316 aperta il 31 gen 2024

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Python (981 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (8211 star)
Metriche merge PR
 (Merge medio 10g 19h) (1 PR mergiata in 30 g)

Descrizione

Issue Description

Better support for mixed precision training would be extremely helpful, at least for SVI. I can manually cast data into float16 or bfloat16 but I am unable to leverage PyTorch's automatic mixed precision training. This is because it requires the use of the GradScaler class during the optimization loop to properly scale gradients in a mixed-precision-aware manner. See the documentation for more info: https://pytorch.org/docs/stable/amp.html

It would be nice to have support for using this class within pyro optimizers to allow for amp support.

Guida contributor

Direzione di ricerca
Esamina le classi degli ottimizzatori di Pyro in pyro/optim/ per comprendere l'applicazione del gradiente. Rivedi i commenti dell'issue per gli approcci proposti. Implementa l'integrazione di GradScaler nel metodo step dell'ottimizzatore, seguendo le linee guida AMP di PyTorch. Considera un flag per abilitare AMP in SVI.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40