pytorch/examples

Ambiguous code in reinforce

Open

#297 aperta il 2 feb 2018

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (9429 fork)batch import
good first issue

Metriche repository

Star
 (21.634 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

In /reinforcement_learning/reinforce.py, line 91:

running_reward = running_reward * 0.99 + t * 0.01

The variable running_reward seems to used for record average episodic rewards(not actually average, but I think the concept is similar), 0.01, is the scalar to update the average episodic rewards and t is done step. Add some comment or refactor naming may help beginners to understand this example.

Guida contributor

Direzione di ricerca
Il problema si riferisce alla riga 91 in `/reinforcement learning/reinforce.py`. La variabile `running reward` e la formula di aggiornamento `running reward * 0.99 + t * 0.01` sono confuse. Un commento che spiega che questo calcola una media mobile esponenziale delle ricompense degli episodi, o rinominare `running reward` in qualcosa come `avg reward`, chiarirebbe il codice. Controlla il file per commenti esistenti e stile di codifica. Non sono presenti pull request collegate o risposte dei manutentori. Assicurati che la modifica sia coerente con altri esempi nel repository.
Tech stack
python
Dominio
machine learning
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
1
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonreinforcement learning basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
90