DLR-RM/stable-baselines3

[Feature Request] independently configurable learning rates for actor and critic

Open

#338 aperta il 3 mar 2021

Vedi su GitHub
 (11 commenti) (1 reazione) (0 assegnatari)Python (1407 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (6550 star)
Metriche merge PR
 (Merge medio 11g 13h) (3 PR mergiate in 30 g)

Descrizione

🚀 Feature

independently configurable learning rates for actor and critic in AC-style algorithms

Motivation

In literature the actor is often configured to learn slower, such that the critics responses are more reliable. At least it would be nice if i could allow my hyperparameter optimizer to decide which learning rates he wants to use for actor or critic.

Pitch

https://github.com/DLR-RM/stable-baselines3/blob/65100a4b040201035487363a396b84ea721eb027/stable_baselines3/ddpg/ddpg.py#L12-L26

Additional context

https://spinningup.openai.com/en/latest/algorithms/ddpg.html#documentation-pytorch-version

Guida contributor

Direzione di ricerca
Modifica la classe DDPG per accettare tassi di apprendimento separati per attore e critico, seguendo lo schema dei parametri esistenti. Vedi la sezione di codice collegata e la documentazione spinningup per riferimento.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGitPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75