pyro-ppl/pyro

[FR] Support Automatic Mixed Precision training

Open

#3.316 geöffnet am 31. Jan. 2024

Auf GitHub ansehen
 (7 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (981 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (8.211 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 10T 19h) (1 gemergte PR in 30 T)

Beschreibung

Issue Description

Better support for mixed precision training would be extremely helpful, at least for SVI. I can manually cast data into float16 or bfloat16 but I am unable to leverage PyTorch's automatic mixed precision training. This is because it requires the use of the GradScaler class during the optimization loop to properly scale gradients in a mixed-precision-aware manner. See the documentation for more info: https://pytorch.org/docs/stable/amp.html

It would be nice to have support for using this class within pyro optimizers to allow for amp support.

Contributor Guide

Research-Richtung
Untersuche die Optimierer Klassen von Pyro in pyro/optim/, um die Gradientenanwendung zu verstehen. Überprüfe die Issue Kommentare für vorgeschlagene Ansätze. Implementiere die GradScaler Integration in die step Methode des Optimierers gemäß den AMP Richtlinien von PyTorch. Erwäge ein Flag, um AMP in SVI zu aktivieren.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40