Reward is always 0 in Hopper
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 38/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
Commencez dans hopper.py, au niveau de get_reward(self, physics), et examinez la hauteur de réinitialisation ainsi que rewards.tolerance et _STAND_HEIGHT. Reproduisez la récompense nulle signalée après la réinitialisation, déterminez pourquoi le fait de rester debout reste à zéro, et vérifiez que la récompense réagit correctement aux actions une fois le problème résolu.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))
When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.
- Langage dominant
- Python
- Étoiles
- 4.7k
- Forks
- 778
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de google-deepmind/dm_control
-
Initial observation padding changes when source arrays are reusedPeut-être pris @sylvesterkaczmarek l’a pris il y a 53 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
google-deepmind/dm_control#559 ·
-
TaggedTasks overrides retain stale tag membershipsPeut-être pris @sylvesterkaczmarek l’a pris il y a 7 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 25/100
google-deepmind/dm_control#572 ·
-
Small quaternion rotations are lost in axis-angle conversionPeut-être pris @sylvesterkaczmarek l’a pris il y a 48 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 68/100
google-deepmind/dm_control#563 ·
-
Built-in observation aggregators drop bounds-preserving specificationsPeut-être pris @sylvesterkaczmarek l’a pris il y a 53 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 75/100
google-deepmind/dm_control#560 ·
-
Flattened observations disagree with explicitly declared task specificationsPeut-être pris @sylvesterkaczmarek l’a pris il y a 53 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 74/100
google-deepmind/dm_control#557 ·
Toutes les issues de google-deepmind/dm_control
Issues similaires
-
[dbt] exported dataset keys reference physical columnsPeut-être pris @WilliamKelley l’a pris aujourd’hui. Ouverteneeds-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
apache/ossie-converters#251 ·
Les mainteneurs répondent en général sous 2 jours
-
cli difficulty: easy enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
desec-io/desec-stack#1312 ·
Les mainteneurs répondent en général sous 14 jours
-
needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
aws/aws-durable-execution-sdk-python#977 ·
Les mainteneurs répondent en général sous 1 jour
-
needs-triage
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
flashinfer-ai/flashinfer#9803 ·
Les mainteneurs répondent en général sous 1 jour