Lightning-AI/pytorch-lightning

Refactor LearningRateMonitor

Open

#17.613 aberto em 11 de mai. de 2023

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Python (3.233 forks)batch import
callback: lr monitorfeaturehelp wantedrefactor

Métricas do repositório

Stars
 (26.687 stars)
Métricas de merge de PR
 (Mesclagem média 9d 15h) (3 fundiu PRs em 30d)

Description

Outline & Motivation

  • self.last_momentum_values does not seem needed, but I may be overlooking something.
  • Instead of returning the name with -momentum suffix when logging betas, just log it with -beta suffix.
  • If logging betas, log all of them. The name could therefore be -beta0, -beta1 in the case of Adam.
  • Change the current logging names, e.g., lr-Adam to optimizer-Adam-lr and lr-Adam-momentum to optimizer-Adam-momentum (it doesn't have momentum this is just for demonstration, it would actually be optimizer-Adam-beta0, optimizer-Adam-beta1).
  • remove the log_momentum argument as it can be inferred automatically.

Pitch

Happy to open a PR with these changes.

Additional context

No response

cc @borda @justusschock @awaelchli

Guia do colaborador

Direção de pesquisa
Analise a implementação atual do LearningRateMonitor na base de código (provavelmente em `pytorch lightning/callbacks/lr monitor.py`). Identifique onde `self.last momentum values` é usado e avalie se é redundante. Planeje a renomeação das chaves de log conforme descrito. Considere também remover o argumento `log momentum` detectando automaticamente quando o momentum está presente. Revise quaisquer testes existentes para o callback para garantir que as alterações sejam testadas.
Pilha de tecnologia
python
Domain
machine learningaibackend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch LightningGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70