DLR-RM/stable-baselines3

[Enhancement]: Wrong gains for weight initialization

Open

#1.559 geöffnet am 16. Juni 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (1.407 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (6.550 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 11T 13h) (3 gemergte PRs in 30 T)

Beschreibung

Enhancement

The recommended gains for the weight init depend on the used activation function, see torch docs. However, as for now the used gains are statically implemented and always the same in ActorCriticPolicies. See here.

I recommend making the gains dependent on the activation function used(, i.e. probably mainly ReLU and tanh).

If you agree with this, I would like to implement it myself and PR.

Thanks and a good day!

To Reproduce

--

Relevant log output / Error message

--

System Info

--

Checklist

  • I have checked that there is no similar issue in the repo
  • I have read the documentation
  • I have provided a minimal working example to reproduce the bug
  • I've used the markdown code blocks for both code and stack traces.

Contributor Guide

Research-Richtung
Untersuchen Sie die aktuelle Gewichtsinitialisierung in ActorCriticPolicies, identifizieren Sie, wo Gewinne statisch festgelegt sind, und ändern Sie sie, um aktivierungsfunktionsspezifische Gewinne gemäß der PyTorch Dokumentation zu verwenden.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75