instadeepai/Mava

[BUG] steps_per_second under-reporting in SAC and IQL

Open

#1078 aperta il 13 mag 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (122 fork)auto 404
buggood first issuehelp wanted

Metriche repository

Star
 (922 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Describe the bug

The (originally combined) steps_per_second logging has been separated for now to enforce logging consistencies across Mava systems, enabling downstream aggregate plotting via marl-eval. However, the current steps_per_second logging in the IQL and SAC systems is not a true representation for the learner or the actor. It is not entirely fair to say that we do steps_per_rollout / elapsed _time steps per second in both cases because we are also taking anakin_steps * cfg.system.epochs gradient steps.

Guida contributor

Direzione di ricerca
Traccia la logica di registrazione di steps per second nei sistemi SAC e IQL per identificare dove il calcolo include erroneamente i passaggi di gradiente, quindi modifica per utilizzare solo i passaggi di rollout per tempo trascorso.
Tech stack
python
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonJAXReinforcement learning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65