pytorch/examples

Ambiguous code in reinforce

Open

#297 geöffnet am 2. Feb. 2018

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (9.429 Forks)batch import
good first issue

Repository-Metriken

Stars
 (21.634 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

In /reinforcement_learning/reinforce.py, line 91:

running_reward = running_reward * 0.99 + t * 0.01

The variable running_reward seems to used for record average episodic rewards(not actually average, but I think the concept is similar), 0.01, is the scalar to update the average episodic rewards and t is done step. Add some comment or refactor naming may help beginners to understand this example.

Contributor Guide

Research-Richtung
Das Problem verweist auf Zeile 91 in `/reinforcement learning/reinforce.py`. Die Variable `running reward` und die Aktualisierungsformel `running reward * 0.99 + t * 0.01` sind verwirrend. Ein Kommentar, der erklärt, dass dies einen exponentiell gleitenden Durchschnitt der Episodenbelohnungen berechnet, oder die Umbenennung von `running reward` in etwas wie `avg reward` würde den Code klarer machen. Überprüfen Sie die Datei auf vorhandene Kommentare und den Codierungsstil. Es gibt keine verknüpften Pull Requests oder Antworten von Maintainern. Stellen Sie sicher, dass die Änderung mit anderen Beispielen im Repository konsistent ist.
Tech Stack
python
Domain
machine learning
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
1
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Unter 1 Stunde
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Pythonreinforcement learning basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
90