Reward is always 0 in Hopper
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 38/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
Beginne in hopper.py bei get_reward(self, physics) und untersuche die Reset-Höhe zusammen mit rewards.tolerance und _STAND_HEIGHT. Reproduziere den gemeldeten Reward von null nach dem Reset, ermittle, warum das Stehen null bleibt, und verifiziere, dass der Reward nach der Behebung angemessen auf Aktionen reagiert.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))
When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.
- Vorherrschende Sprache
- Python
- Sterne
- 4.7k
- Forks
- 778
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus google-deepmind/dm_control
-
Initial observation padding changes when source arrays are reusedEvtl. vergeben @sylvesterkaczmarek hat das vor 53 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
google-deepmind/dm_control#559 ·
-
TaggedTasks overrides retain stale tag membershipsEvtl. vergeben @sylvesterkaczmarek hat das vor 7 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 25/100
google-deepmind/dm_control#572 ·
-
Small quaternion rotations are lost in axis-angle conversionEvtl. vergeben @sylvesterkaczmarek hat das vor 48 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100
google-deepmind/dm_control#563 ·
-
Built-in observation aggregators drop bounds-preserving specificationsEvtl. vergeben @sylvesterkaczmarek hat das vor 53 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 75/100
google-deepmind/dm_control#560 ·
-
Flattened observations disagree with explicitly declared task specificationsEvtl. vergeben @sylvesterkaczmarek hat das vor 53 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 74/100
google-deepmind/dm_control#557 ·
Alle Issues in google-deepmind/dm_control
Ähnliche Issues
-
[dbt] exported dataset keys reference physical columnsEvtl. vergeben @WilliamKelley hat das heute übernommen. Offenneeds-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
apache/ossie-converters#251 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
cli difficulty: easy enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
desec-io/desec-stack#1312 ·
Maintainer antworten meist innerhalb von 14 Tagen
-
needs-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
aws/aws-durable-execution-sdk-python#977 ·
Maintainer antworten meist innerhalb von 1 Tag
-
needs-triage
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
flashinfer-ai/flashinfer#9803 ·
Maintainer antworten meist innerhalb von 1 Tag