DLR-RM/stable-baselines3

Assert that the VecNormalize wrapper handles the new truncations correctly

Open

#1.093 geöffnet am 4. Okt. 2022

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (1.407 Forks)batch import
help wanted

Repository-Metriken

Stars
 (6.550 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 11T 13h) (3 gemergte PRs in 30 T)

Beschreibung

I need to think more about that one, but my guess is that it should not matter much, the scaling is meant to avoid large values and to evolve with the agent performance. Still, we should double check that. Could you open an issue so we don't forget?

Originally posted by @araffin in https://github.com/DLR-RM/stable-baselines3/pull/780#discussion_r985247261

Contributor Guide

Research-Richtung
Untersuche die VecNormalize Implementierung in stable baselines3, um sicherzustellen, dass Abbruchschritte (im Gegensatz zu Endschritten) korrekt behandelt werden. Überprüfe die Diskussion in PR #780, insbesondere den Kommentar von @araffin, und prüfe den relevanten Quellcode in vec normalize.py. Suche nach möglichen Problemen mit Normalisierungsaktualisierungen während nicht terminaler Übergänge und stelle sicher, dass die Skalierungslogik Abbruche ohne Verzerrung berücksichtigt.
Tech Stack
python
Domain
machine learning
Issue Type
Test
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorchReinforcement learning
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70