thu-ml/tianshou

RNN related issues

Open

#937 aberto em 7 de set. de 2023

Ver no GitHub
 (12 comments) (0 reactions) (0 assignees)Python (1.072 forks)batch import
RNNbughelp wanted

Métricas do repositório

Stars
 (7.121 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

There is a bunch of reported RNN problems: #795 #513 #486 and some others. Generally, performance of agents with RNN on top never seemed to be good. This should be looked into, compared with other libraries, and fixed.

@Trinkle23897 @araffin @BFAnas If you have ideas where to start or whom to ping, feel free to write here. I guess it won't be an easy one...

Until this is solved, it might make sense to document that using RNNs is currently discouraged.

Guia do colaborador

Direção de pesquisa
Investigue os problemas de desempenho de RNN no Tianshou, compare com outras bibliotecas de RL (por exemplo, Stable Baselines3) e implemente correções com base nas causas raiz identificadas.
Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PythonPyTorchDeep Reinforcement LearningRNN
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
25