Lightning-AI/pytorch-lightning

Refactor LearningRateMonitor

Open

#17.613 geöffnet am 11. Mai 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (3.233 Forks)batch import
callback: lr monitorfeaturehelp wantedrefactor

Repository-Metriken

Stars
 (26.687 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 15h) (3 gemergte PRs in 30 T)

Beschreibung

Outline & Motivation

  • self.last_momentum_values does not seem needed, but I may be overlooking something.
  • Instead of returning the name with -momentum suffix when logging betas, just log it with -beta suffix.
  • If logging betas, log all of them. The name could therefore be -beta0, -beta1 in the case of Adam.
  • Change the current logging names, e.g., lr-Adam to optimizer-Adam-lr and lr-Adam-momentum to optimizer-Adam-momentum (it doesn't have momentum this is just for demonstration, it would actually be optimizer-Adam-beta0, optimizer-Adam-beta1).
  • remove the log_momentum argument as it can be inferred automatically.

Pitch

Happy to open a PR with these changes.

Additional context

No response

cc @borda @justusschock @awaelchli

Contributor Guide

Research-Richtung
Betrachten Sie die aktuelle Implementierung von LearningRateMonitor in der Codebasis (wahrscheinlich in `pytorch lightning/callbacks/lr monitor.py`). Identifizieren Sie, wo `self.last momentum values` verwendet wird, und bewerten Sie, ob es redundant ist. Planen Sie die Umbenennung der Logging Schlüssel wie beschrieben. Erwägen Sie außerdem, das Argument `log momentum` zu entfernen, indem automatisch erkannt wird, wann Momentum vorhanden ist. Überprüfen Sie vorhandene Tests für den Callback, um sicherzustellen, dass Änderungen getestet werden.
Tech Stack
python
Domain
machine learningaibackend
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch LightningGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70