Reward is always 0 in Hopper

Offen
#411 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Anfängerfreundlichkeit
38/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Veraltet
Tech-Stack
python

Rechercherichtung

Beginne in hopper.py bei get_reward(self, physics) und untersuche die Reset-Höhe zusammen mit rewards.tolerance und _STAND_HEIGHT. Reproduziere den gemeldeten Reward von null nach dem Reset, ermittle, warum das Stehen null bleibt, und verifiziere, dass der Reward nach der Behebung angemessen auf Aktionen reagiert.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))

When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.

Vorherrschende Sprache
Python
Sterne
4.7k
Forks
778
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus google-deepmind/dm_control

Alle Issues in google-deepmind/dm_control

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.