Reward is always 0 in Hopper
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 38/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza en hopper.py, en get_reward(self, physics), e inspecciona la altura de reinicio junto con rewards.tolerance y _STAND_HEIGHT. Reproduce la recompensa cero reportada después del reinicio, determina por qué permanecer de pie sigue dando cero y verifica que la recompensa responda adecuadamente a las acciones una vez solucionado.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))
When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.
- Lenguaje dominante
- Python
- Estrellas
- 4.7k
- Forks
- 778
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de google-deepmind/dm_control
-
Initial observation padding changes when source arrays are reusedPosiblemente ocupada @sylvesterkaczmarek la tomó hace 53 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
google-deepmind/dm_control#559 ·
-
TaggedTasks overrides retain stale tag membershipsPosiblemente ocupada @sylvesterkaczmarek la tomó hace 7 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
google-deepmind/dm_control#572 ·
-
Small quaternion rotations are lost in axis-angle conversionPosiblemente ocupada @sylvesterkaczmarek la tomó hace 48 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
google-deepmind/dm_control#563 ·
-
Built-in observation aggregators drop bounds-preserving specificationsPosiblemente ocupada @sylvesterkaczmarek la tomó hace 53 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 75/100
google-deepmind/dm_control#560 ·
-
Flattened observations disagree with explicitly declared task specificationsPosiblemente ocupada @sylvesterkaczmarek la tomó hace 53 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 74/100
google-deepmind/dm_control#557 ·
Todos los issues de google-deepmind/dm_control
Issues similares
-
[dbt] exported dataset keys reference physical columnsPosiblemente ocupada @WilliamKelley la tomó hoy. Abiertoneeds-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
apache/ossie-converters#251 ·
Los mantenedores suelen responder en 2 días
-
cli difficulty: easy enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
desec-io/desec-stack#1312 ·
Los mantenedores suelen responder en 14 días
-
needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
aws/aws-durable-execution-sdk-python#977 ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
flashinfer-ai/flashinfer#9803 ·
Los mantenedores suelen responder en 1 día