DLR-RM/stable-baselines3

[Feature Request] independently configurable learning rates for actor and critic

Open

#338 geöffnet am 3. März 2021

Auf GitHub ansehen
 (11 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (1.407 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (6.550 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 11T 13h) (3 gemergte PRs in 30 T)

Beschreibung

🚀 Feature

independently configurable learning rates for actor and critic in AC-style algorithms

Motivation

In literature the actor is often configured to learn slower, such that the critics responses are more reliable. At least it would be nice if i could allow my hyperparameter optimizer to decide which learning rates he wants to use for actor or critic.

Pitch

https://github.com/DLR-RM/stable-baselines3/blob/65100a4b040201035487363a396b84ea721eb027/stable_baselines3/ddpg/ddpg.py#L12-L26

Additional context

https://spinningup.openai.com/en/latest/algorithms/ddpg.html#documentation-pytorch-version

Contributor Guide

Research-Richtung
Ändern Sie die DDPG Klasse, um separate Lernraten für Actor und Critic zu akzeptieren, und folgen Sie dem Muster der vorhandenen Parameter. Siehe den verlinkten Code Abschnitt und die Spinningup Dokumentation als Referenz.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGitPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75