DLR-RM/stable-baselines3

[Enhancement]: Wrong gains for weight initialization

Open

#1559 aperta il 16 giu 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Python (1407 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (6550 star)
Metriche merge PR
 (Merge medio 11g 13h) (3 PR mergiate in 30 g)

Descrizione

Enhancement

The recommended gains for the weight init depend on the used activation function, see torch docs. However, as for now the used gains are statically implemented and always the same in ActorCriticPolicies. See here.

I recommend making the gains dependent on the activation function used(, i.e. probably mainly ReLU and tanh).

If you agree with this, I would like to implement it myself and PR.

Thanks and a good day!

To Reproduce

--

Relevant log output / Error message

--

System Info

--

Checklist

  • I have checked that there is no similar issue in the repo
  • I have read the documentation
  • I have provided a minimal working example to reproduce the bug
  • I've used the markdown code blocks for both code and stack traces.

Guida contributor

Direzione di ricerca
Esaminare l'inizializzazione dei pesi corrente in ActorCriticPolicies, identificare dove i guadagni sono impostati staticamente e modificare per utilizzare guadagni specifici della funzione di attivazione secondo la documentazione di PyTorch.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75