Reward is always 0 in Hopper
還沒有人認領這個 Issue。
評估
- 難度
- 3/5
- 預估耗時
- 1-2 天
- 新手友好度
- 38/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- python
研究方向
從 hopper.py 中的 get_reward(self, physics) 開始,檢查重設高度以及 rewards.tolerance 和 _STAND_HEIGHT。重現所回報的重設後獎勵為零的問題,判定站立狀態為何仍為零,並驗證修正後獎勵會對動作做出適當反應。
由索引模型根據 Issue 內容生成。
描述
In Hopper, reward is always 0 independent of the action. The problem is that this code which is used in reward calculation in hopper.py get_reward(self, physics) function, always return 0 as the value of standing:
standing = rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2))
When I check env._physics.height() after environment reset, I saw that the height is initialized as a negative value always. Therefore it is impossible for this code fragment rewards.tolerance(physics.height(), (_STAND_HEIGHT, 2)) to return 1, since _STAND_HEIGHT is defined as 0.6 for Hopper.
- 主要語言
- Python
- 星號
- 4.7k
- 分支
- 778
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
google-deepmind/dm_control 的其他 Issue
-
Initial observation padding changes when source arrays are reused可能已有人在做 @sylvesterkaczmarek 於 53 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 85/100
google-deepmind/dm_control#559 ·
-
TaggedTasks overrides retain stale tag memberships可能已有人在做 @sylvesterkaczmarek 於 7 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 25/100
google-deepmind/dm_control#572 ·
-
Small quaternion rotations are lost in axis-angle conversion可能已有人在做 @sylvesterkaczmarek 於 48 天前認領。 未關閉
難度 3/5 1-2 天 新手友好度 68/100
google-deepmind/dm_control#563 ·
-
Built-in observation aggregators drop bounds-preserving specifications可能已有人在做 @sylvesterkaczmarek 於 53 天前認領。 未關閉
難度 3/5 1-2 天 新手友好度 75/100
google-deepmind/dm_control#560 ·
-
Flattened observations disagree with explicitly declared task specifications可能已有人在做 @sylvesterkaczmarek 於 53 天前認領。 未關閉
難度 3/5 1-2 天 新手友好度 74/100
google-deepmind/dm_control#557 ·
查看 google-deepmind/dm_control 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 73/100
維護者通常 1 天內回覆
-
Unused loot bag group names left in dreamcraft en_US.lang可能已有人在做 關聯的 PR 仍在進行中或已合併。 未關閉Status: Triage Suggestion
難度 1/5 1 小時以內 新手友好度 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
維護者通常 1 天內回覆
-
bug frontend sev-5
難度 2/5 1-3 小時 新手友好度 83/100
-
core good first issue
難度 2/5 1-3 小時 新手友好度 65/100
-
b4b code health next
難度 2/5 1-3 小時 新手友好度 68/100
維護者通常 1 天內回覆