pytorch/examples

Actor critic example not using discount rate properly

Open

#744 aperta il 27 mar 2020

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (9429 fork)batch import
good first issuetriaged

Metriche repository

Star
 (21.634 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

The Actor Critic example (which is actually an implementation of REINFORCE-with-baseline as pointed out in https://github.com/pytorch/examples/issues/573), does not use the discount rate properly.

The loss should include \gamma ^ t, as shown in the box on page 330 of Sutton & Barto:

image

Guida contributor

Direzione di ricerca
Ispeziona il codice di esempio actor critic, individua il calcolo della perdita e modificalo per includere il fattore di sconto (gamma^t) secondo l'algoritmo REINFORCE with baseline di Sutton & Barto.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65