pytorch/examples

the learning rate of word_language_model

Open

#757 geöffnet am 22. Apr. 2020

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (9.429 Forks)batch import
help wantednlp

Repository-Metriken

Stars
 (21.634 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Contributor Guide

Research-Richtung
Erklären Sie, dass eine hohe anfängliche Lernrate wie 20 bei Sprachmodellen, die SGD mit einem Lernratenplaner (z. B. ReduceLROnPlateau) verwenden, üblich ist, um schnell zu konvergieren, und dass dieser Wert auf den Standardeinstellungen im PyTorch Beispiel basiert. Schlagen Sie vor, den Trainingsablauf und die Planerkonfiguration zu untersuchen.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
1
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Unter 1 Stunde
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
80