pytorch/examples

Actor critic example not using discount rate properly

Open

#744 geöffnet am 27. März 2020

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (21.634 Stars) (9.429 Forks)batch import
good first issuetriaged

Beschreibung

The Actor Critic example (which is actually an implementation of REINFORCE-with-baseline as pointed out in https://github.com/pytorch/examples/issues/573), does not use the discount rate properly.

The loss should include \gamma ^ t, as shown in the box on page 330 of Sutton & Barto:

image

Contributor Guide

Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
bug
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
REINFORCE algorithmPyTorch basicsDiscount factor concept
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45
Research-Richtung
Examine the actor critic example file (likely in the reinforcement learning folder). The current code likely computes the loss without weighting by gamma^t. Refer to the referenced issue #573 and the Sutton & Barto equation. The fix involves multiplying each log probability term by gamma^t in the policy gradient loss calculation. Check the comments in the issue for any additional guidance.