pytorch/examples

the learning rate of word_language_model

開放

#757 建立於 2020年4月22日

在 GitHub 查看貢獻者指南
 (3 則留言) (0 個反應) (0 位負責人)Python (9,429 個分叉)batch import
help wantednlp

倉庫指標

星標
 (21,634 顆星)
PR 合併指標
 (PR 指標待抓取)

描述

Hi, I have a question about the learning rate in the example "word_language_model", the init lr = 20, which seems very large, can you tell me why lr is set to equal 20? Thanks a lot! If you have some advices about improving the performance, please let me know and thanks

貢獻者指南

研究方向
解釋像20這樣高的初始學習率在使用帶有學習率調度器（例如ReduceLROnPlateau）的SGD進行語言模型訓練時很常見，目的是快速收斂，並且這個值是基於PyTorch示例中的默認設置。建議研究訓練循環和調度器配置。
技術棧
pythonpytorch
領域
machine learning
議題類型
調研
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
1
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1 小時以內
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
PythonPyTorch
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
80