recommenders-team/recommenders

Multinomial VAE - performance

Open

#1.249 aberto em 25 de nov. de 2020

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Python (2.972 forks)batch import
help wanted

Métricas do repositório

Stars
 (17.706 stars)
Métricas de merge de PR
 (Mesclagem média 6d 16h) (10 fundiu PRs em 30d)

Description

I've noticed some differences in training time and performance between this tensorflow 2 implementation and the original version:

  • lower ratings should be removed

user-to-movie interactions with rating <=3.5 are filtered out but they are used to generate test_data_te_ratings, val_data_te_ratings that are used to compute the metrics for the model. Could I ask why?

  • huge spike in memory consumption, using dataset 20m when the training is started will gobble up ~25gb RAM while the initial version will only use ~4gb RAM. Is this is a bug?

Thank you

Guia do colaborador

Direção de pesquisa
Analise o consumo de memória durante o treinamento; compare as estratégias de carregamento de dados entre o TensorFlow 2 e a implementação original. Verifique se o pico de memória é devido a um batching ineficiente ou ao armazenamento de tensores grandes. Além disso, investigue a lógica de filtragem para classificações <=3.5 e seu impacto nas métricas de avaliação.
Pilha de tecnologia
pythontensorflow
Domain
machine learningbackend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonTensorFlowRecommendation Systems
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60