Lightning-AI/pytorch-lightning

Refactor LearningRateMonitor

Open

#17.613 aperta il 11 mag 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (3233 fork)batch import
callback: lr monitorfeaturehelp wantedrefactor

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Outline & Motivation

  • self.last_momentum_values does not seem needed, but I may be overlooking something.
  • Instead of returning the name with -momentum suffix when logging betas, just log it with -beta suffix.
  • If logging betas, log all of them. The name could therefore be -beta0, -beta1 in the case of Adam.
  • Change the current logging names, e.g., lr-Adam to optimizer-Adam-lr and lr-Adam-momentum to optimizer-Adam-momentum (it doesn't have momentum this is just for demonstration, it would actually be optimizer-Adam-beta0, optimizer-Adam-beta1).
  • remove the log_momentum argument as it can be inferred automatically.

Pitch

Happy to open a PR with these changes.

Additional context

No response

cc @borda @justusschock @awaelchli

Guida contributor

Direzione di ricerca
Esamina l'implementazione corrente di LearningRateMonitor nella codebase (probabilmente in `pytorch lightning/callbacks/lr monitor.py`). Identifica dove viene utilizzato `self.last momentum values` e valuta se è ridondante. Pianifica la ridenominazione delle chiavi di log come descritto. Considera anche la rimozione dell'argomento `log momentum` rilevando automaticamente quando è presente il momentum. Rivedi eventuali test esistenti per il callback per garantire che le modifiche siano testate.
Tech stack
python
Dominio
machine learningaibackend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch LightningGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70