pytorch/examples

the learning rate of word_language_model

Open

#757 aperta il 22 apr 2020

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (9429 fork)batch import
help wantednlp

Metriche repository

Star
 (21.634 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

Guida contributor

Direzione di ricerca
Spiega che un tasso di apprendimento iniziale elevato come 20 è comune per i modelli linguistici che utilizzano SGD con un programmatore del tasso di apprendimento (ad esempio ReduceLROnPlateau) per convergere rapidamente, e questo valore si basa sulle impostazioni predefinite nell'esempio PyTorch. Suggerisci di studiare il ciclo di addestramento e la configurazione del programmatore.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
1
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
80