DLR-RM/stable-baselines3

[Feature Request] independently configurable learning rates for actor and critic

Open

#338 ouverte le 3 mars 2021

Voir sur GitHub
 (11 commentaires) (1 réaction) (0 assignés)Python (1 407 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (6 550 stars)
Métriques de merge PR
 (Merge moyen 11j 13h) (3 PRs mergées en 30 j)

Description

🚀 Feature

independently configurable learning rates for actor and critic in AC-style algorithms

Motivation

In literature the actor is often configured to learn slower, such that the critics responses are more reliable. At least it would be nice if i could allow my hyperparameter optimizer to decide which learning rates he wants to use for actor or critic.

Pitch

https://github.com/DLR-RM/stable-baselines3/blob/65100a4b040201035487363a396b84ea721eb027/stable_baselines3/ddpg/ddpg.py#L12-L26

Additional context

https://spinningup.openai.com/en/latest/algorithms/ddpg.html#documentation-pytorch-version

Guide contributeur

Direction de recherche
Modifiez la classe DDPG pour accepter des taux d'apprentissage séparés pour l'acteur et le critique, en suivant le modèle des paramètres existants. Consultez la section de code liée et la documentation spinningup pour référence.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGitPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75