pytorch/examples

Ambiguous code in reinforce

Open

#297 aberto em 2 de fev. de 2018

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Python (9.429 forks)batch import
good first issue

Métricas do repositório

Stars
 (21.634 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

In /reinforcement_learning/reinforce.py, line 91:

running_reward = running_reward * 0.99 + t * 0.01

The variable running_reward seems to used for record average episodic rewards(not actually average, but I think the concept is similar), 0.01, is the scalar to update the average episodic rewards and t is done step. Add some comment or refactor naming may help beginners to understand this example.

Guia do colaborador

Direção de pesquisa
O problema aponta para a linha 91 em `/reinforcement learning/reinforce.py`. A variável `running reward` e a fórmula de atualização `running reward * 0.99 + t * 0.01` são confusas. Um comentário explicando que isso calcula uma média móvel exponencial das recompensas dos episódios, ou renomear `running reward` para algo como `avg reward`, esclareceria o código. Verifique o arquivo quanto a comentários existentes e estilo de codificação. Não há pull requests vinculados ou respostas dos mantenedores. Certifique se de que a alteração seja consistente com outros exemplos no repositório.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Documentação
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
1
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Menos de 1 hora
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonreinforcement learning basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
90