Reward is always 0 in Hopper
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 38/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Inizia in hopper.py, in get_reward(self, physics), e controlla l'altezza di reset insieme a rewards.tolerance e _STAND_HEIGHT. Riproduci la ricompensa pari a zero segnalata dopo il reset, determina perché lo stare in piedi rimane a zero e verifica che la ricompensa risponda adeguatamente alle azioni una volta risolto il problema.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))
When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.
- Lingua principale
- Python
- Stelle
- 4.7k
- Fork
- 778
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di google-deepmind/dm_control
-
Initial observation padding changes when source arrays are reusedForse già presa @sylvesterkaczmarek l’ha presa 53 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
google-deepmind/dm_control#559 ·
-
TaggedTasks overrides retain stale tag membershipsForse già presa @sylvesterkaczmarek l’ha presa 7 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
google-deepmind/dm_control#572 ·
-
Small quaternion rotations are lost in axis-angle conversionForse già presa @sylvesterkaczmarek l’ha presa 48 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
google-deepmind/dm_control#563 ·
-
Built-in observation aggregators drop bounds-preserving specificationsForse già presa @sylvesterkaczmarek l’ha presa 53 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 75/100
google-deepmind/dm_control#560 ·
-
Flattened observations disagree with explicitly declared task specificationsForse già presa @sylvesterkaczmarek l’ha presa 53 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 74/100
google-deepmind/dm_control#557 ·
Tutte le issue di google-deepmind/dm_control
Issue simili
-
[dbt] exported dataset keys reference physical columnsForse già presa @WilliamKelley l’ha presa oggi. Apertaneeds-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
apache/ossie-converters#251 ·
I maintainer di solito rispondono entro 2 giorni
-
cli difficulty: easy enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
desec-io/desec-stack#1312 ·
I maintainer di solito rispondono entro 14 giorni
-
needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
aws/aws-durable-execution-sdk-python#977 ·
I maintainer di solito rispondono entro 1 giorno
-
needs-triage
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
flashinfer-ai/flashinfer#9803 ·
I maintainer di solito rispondono entro 1 giorno