pytorch/examples

the learning rate of word_language_model

Open

#757 geöffnet am 22. Apr. 2020

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (21.634 Stars) (9.429 Forks)batch import
help wantednlp

Beschreibung

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Contributor Guide

Tech Stack
python
Domain
machine learning
Issue Type
research
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
familiarity with neural networkspytorch basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30
Research-Richtung
Investigate the learning rate setting in the word language model example (likely in main.py or similar). Review any comments in the code and documentation. Consider writing a small experiment to show the effect of different learning rates. Provide a clear explanation with references to PyTorch documentation.