pytorch/examples

the learning rate of word_language_model

Open

#757 aberto em 22 de abr. de 2020

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (21.634 stars) (9.429 forks)batch import
help wantednlp

Description

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Guia do colaborador

Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
research
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 hours
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
familiarity with neural networkspytorch basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30
Direção de pesquisa
Investigate the learning rate setting in the word language model example (likely in main.py or similar). Review any comments in the code and documentation. Consider writing a small experiment to show the effect of different learning rates. Provide a clear explanation with references to PyTorch documentation.