DLR-RM/stable-baselines3

Assert that the VecNormalize wrapper handles the new truncations correctly

Open

#1093 aperta il 4 ott 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (1407 fork)batch import
help wanted

Metriche repository

Star
 (6550 star)
Metriche merge PR
 (Merge medio 11g 13h) (3 PR mergiate in 30 g)

Descrizione

I need to think more about that one, but my guess is that it should not matter much, the scaling is meant to avoid large values and to evolve with the agent performance. Still, we should double check that. Could you open an issue so we don't forget?

Originally posted by @araffin in https://github.com/DLR-RM/stable-baselines3/pull/780#discussion_r985247261

Guida contributor

Direzione di ricerca
Indaga sull'implementazione di VecNormalize in stable baselines3 per garantire che i passi di troncamento (al contrario dei passi terminali) siano gestiti correttamente. Rivedi la discussione nella PR #780, in particolare il commento di @araffin, ed esamina il codice sorgente pertinente in vec normalize.py. Cerca eventuali problemi con gli aggiornamenti di normalizzazione durante le transizioni non terminali e verifica che la logica di scalabilità gestisca i troncamenti senza introdurre bias.
Tech stack
python
Dominio
machine learning
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchReinforcement learning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70