pytorch/examples

Ambiguous code in reinforce

Open

#297 opened on 2018年2月2日

GitHub で見る
 (2 comments) (0 reactions) (0 assignees)Python (9,429 forks)batch import
good first issue

Repository metrics

Stars
 (21,634 stars)
PR merge metrics
 (30d に merged PR はありません)

説明

In /reinforcement_learning/reinforce.py, line 91:

running_reward = running_reward * 0.99 + t * 0.01

The variable running_reward seems to used for record average episodic rewards(not actually average, but I think the concept is similar), 0.01, is the scalar to update the average episodic rewards and t is done step. Add some comment or refactor naming may help beginners to understand this example.

コントリビューターガイド

調査方針
この問題は `/reinforcement learning/reinforce.py` の91行目を指しています。変数 `running reward` と更新式 `running reward * 0.99 + t * 0.01` が分かりにくいです。これがエピソード報酬の指数移動平均を計算していることを説明するコメントを追加するか、`running reward` を `avg reward` のような名前に変更すると、コードが明確になります。ファイル内の既存のコメントとコーディングスタイルを確認してください。関連するプルリクエストやメンテナの応答はありません。変更がリポジトリ内の他の例と一貫していることを確認してください。
技術スタック
python
領域
machine learning
Issue 種別
ドキュメント
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
1
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1時間未満
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
新着
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
Pythonreinforcement learning basics
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
90