pytorch/examples

the learning rate of word_language_model

Open

#757 aberto em 22 de abr. de 2020

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (9.429 forks)batch import
help wantednlp

Métricas do repositório

Stars
 (21.634 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Guia do colaborador

Direção de pesquisa
Explique que uma taxa de aprendizado inicial alta como 20 é comum para modelos de linguagem usando SGD com um agendador de taxa de aprendizado (por exemplo, ReduceLROnPlateau) para convergir rapidamente, e que esse valor é baseado nas configurações padrão no exemplo do PyTorch. Sugira estudar o loop de treinamento e a configuração do agendador.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
1
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Menos de 1 hora
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
80