DLR-RM/stable-baselines3

Assert that the VecNormalize wrapper handles the new truncations correctly

Ouverte

#1 093 ouverte le 4 oct. 2022

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (0 personne assignée)Python (1 407 forks)batch import
help wanted

Métriques du dépôt

Stars
 (6 550 étoiles)
Métriques de merge PR
 (Merge moyen 11j 13h) (3 PRs mergées en 30 j)

Description

I need to think more about that one, but my guess is that it should not matter much, the scaling is meant to avoid large values and to evolve with the agent performance. Still, we should double check that. Could you open an issue so we don't forget?

Originally posted by @araffin in https://github.com/DLR-RM/stable-baselines3/pull/780#discussion_r985247261

Guide contributeur

Direction de recherche
Étudiez l'implémentation de VecNormalize dans stable baselines3 pour garantir que les étapes de troncature (par opposition aux étapes terminales) sont correctement gérées. Examinez la discussion dans la PR #780, en particulier le commentaire de @araffin, et inspectez le code source pertinent dans vec normalize.py. Recherchez d'éventuels problèmes avec les mises à jour de normalisation lors des transitions non terminales et vérifiez que la logique de mise à l'échelle prend en compte les troncatures sans biais.
Stack technique
python
Domaine
machine learning
Type d'issue
Test
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchReinforcement learning
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70