DLR-RM/stable-baselines3

Assert that the VecNormalize wrapper handles the new truncations correctly

Open

#1.093 aberto em 4 de out. de 2022

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Python (1.407 forks)batch import
help wanted

Métricas do repositório

Stars
 (6.550 stars)
Métricas de merge de PR
 (Mesclagem média 11d 13h) (3 fundiu PRs em 30d)

Description

I need to think more about that one, but my guess is that it should not matter much, the scaling is meant to avoid large values and to evolve with the agent performance. Still, we should double check that. Could you open an issue so we don't forget?

Originally posted by @araffin in https://github.com/DLR-RM/stable-baselines3/pull/780#discussion_r985247261

Guia do colaborador

Direção de pesquisa
Investigue a implementação do VecNormalize no stable baselines3 para garantir que as etapas de truncamento (em oposição às etapas terminais) sejam tratadas corretamente. Revise a discussão na PR #780, especialmente o comentário de @araffin, e examine o código fonte relevante em vec normalize.py. Procure por possíveis problemas com atualizações de normalização durante transições não terminais e verifique se a lógica de escalonamento acomoda truncamentos sem viés.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchReinforcement learning
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70