DLR-RM/stable-baselines3

[Enhancement]: Wrong gains for weight initialization

Open

#1 559 ouverte le 16 juin 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (1 assigné)Python (1 407 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (6 550 stars)
Métriques de merge PR
 (Merge moyen 11j 13h) (3 PRs mergées en 30 j)

Description

Enhancement

The recommended gains for the weight init depend on the used activation function, see torch docs. However, as for now the used gains are statically implemented and always the same in ActorCriticPolicies. See here.

I recommend making the gains dependent on the activation function used(, i.e. probably mainly ReLU and tanh).

If you agree with this, I would like to implement it myself and PR.

Thanks and a good day!

To Reproduce

--

Relevant log output / Error message

--

System Info

--

Checklist

  • I have checked that there is no similar issue in the repo
  • I have read the documentation
  • I have provided a minimal working example to reproduce the bug
  • I've used the markdown code blocks for both code and stack traces.

Guide contributeur

Direction de recherche
Examinez l'initialisation des poids actuelle dans ActorCriticPolicies, identifiez où les gains sont définis statiquement et modifiez pour utiliser des gains spécifiques à la fonction d'activation conformément à la documentation PyTorch.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorchGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75