pytorch/examples

the learning rate of word_language_model

Open

Aperta il 22 apr 2020

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (21.634 star) (9429 fork)batch import
help wantednlp

Descrizione

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Guida contributor

Tech stack
python
Dominio
machine learning
Tipo issue
research
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
familiarity with neural networkspytorch basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30
Direzione di ricerca
Investigate the learning rate setting in the word language model example (likely in main.py or similar). Review any comments in the code and documentation. Consider writing a small experiment to show the effect of different learning rates. Provide a clear explanation with references to PyTorch documentation.