instadeepai/Mava

[BUG] steps_per_second under-reporting in SAC and IQL

Open

#1 078 ouverte le 13 mai 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (122 forks)auto 404
buggood first issuehelp wanted

Métriques du dépôt

Stars
 (922 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

Describe the bug

The (originally combined) steps_per_second logging has been separated for now to enforce logging consistencies across Mava systems, enabling downstream aggregate plotting via marl-eval. However, the current steps_per_second logging in the IQL and SAC systems is not a true representation for the learner or the actor. It is not entirely fair to say that we do steps_per_rollout / elapsed _time steps per second in both cases because we are also taking anakin_steps * cfg.system.epochs gradient steps.

Guide contributeur

Direction de recherche
Tracez la logique de journalisation de steps per second dans les systemes SAC et IQL pour identifier ou le calcul inclut par erreur les etapes de gradient, puis ajustez pour utiliser uniquement les etapes de lancement par temps ecoule.
Stack technique
python
Domaine
machine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonJAXReinforcement learning
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65