instadeepai/Mava

[BUG]Jumanji RWARE reward shape mismatch

Open

#1110 aperta il 24 ott 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (122 fork)auto 404
buggood first issue

Metriche repository

Star
 (922 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

We found that in the 4ag RWARE task, env.reward_spec().generate_value() gives something of shape (), but the reward that environment outputs is actually of shape (num_agents).

This is curious because I believe the scenario should output a reward of shape ().

Maybe it's a wrapper thing?

Guida contributor

Direzione di ricerca
Investigare la funzione di ricompensa nel task 4ag RWARE e tracciare la funzione step dell'ambiente per identificare perché la forma di reward.spec() differisce dalla forma effettiva della ricompensa. Verificare se un wrapper modifica la ricompensa.
Tech stack
python
Dominio
machine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonJAXreinforcement learning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60