Reward is always 0 in Hopper

Ouverte
#411 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
38/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
python

Piste de recherche

Commencez dans hopper.py, au niveau de get_reward(self, physics), et examinez la hauteur de réinitialisation ainsi que rewards.tolerance et _STAND_HEIGHT. Reproduisez la récompense nulle signalée après la réinitialisation, déterminez pourquoi le fait de rester debout reste à zéro, et vérifiez que la récompense réagit correctement aux actions une fois le problème résolu.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))

When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.

Langage dominant
Python
Étoiles
4.7k
Forks
778
Métriques de merge des PR
Aucune PR mergée en 30 j

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de google-deepmind/dm_control

Toutes les issues de google-deepmind/dm_control

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.