pytorch/examples

the learning rate of word_language_model

Open

#757 ouverte le 22 avr. 2020

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (21 634 stars) (9 429 forks)batch import
help wantednlp

Description

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Guide contributeur

Stack technique
python
Domaine
machine learning
Type d'issue
research
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 hours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
familiarity with neural networkspytorch basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30
Direction de recherche
Investigate the learning rate setting in the word language model example (likely in main.py or similar). Review any comments in the code and documentation. Consider writing a small experiment to show the effect of different learning rates. Provide a clear explanation with references to PyTorch documentation.