DLR-RM/stable-baselines3

[Enhancement]: Wrong gains for weight initialization

Open

#1.559 aberto em 16 de jun. de 2023

Ver no GitHub
 (2 comments) (0 reactions) (1 assignee)Python (1.407 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (6.550 stars)
Métricas de merge de PR
 (Mesclagem média 11d 13h) (3 fundiu PRs em 30d)

Description

Enhancement

The recommended gains for the weight init depend on the used activation function, see torch docs. However, as for now the used gains are statically implemented and always the same in ActorCriticPolicies. See here.

I recommend making the gains dependent on the activation function used(, i.e. probably mainly ReLU and tanh).

If you agree with this, I would like to implement it myself and PR.

Thanks and a good day!

To Reproduce

--

Relevant log output / Error message

--

System Info

--

Checklist

  • I have checked that there is no similar issue in the repo
  • I have read the documentation
  • I have provided a minimal working example to reproduce the bug
  • I've used the markdown code blocks for both code and stack traces.

Guia do colaborador

Direção de pesquisa
Investigue a inicialização de pesos atual em ActorCriticPolicies, identifique onde os ganhos são definidos estaticamente e modifique para usar ganhos específicos da função de ativação conforme a documentação do PyTorch.
Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75