pytorch/examples

Actor critic example not using discount rate properly

Offen

#744 geöffnet am 27.03.2020

Auf GitHub ansehenContributor Guide
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (9.429 Forks)batch import
good first issuetriaged

Repository-Metriken

Stars
 (21.634 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

The Actor Critic example (which is actually an implementation of REINFORCE-with-baseline as pointed out in https://github.com/pytorch/examples/issues/573), does not use the discount rate properly.

The loss should include \gamma ^ t, as shown in the box on page 330 of Sutton & Barto:

image

Contributor Guide

Research-Richtung
Prüfe den Actor Critic Beispielcode, finde die Verlustberechnung und ändere sie, um den Diskontfaktor (gamma^t) gemäß dem REINFORCE with baseline Algorithmus von Sutton & Barto einzubeziehen.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65