recommenders-team/recommenders

Multinomial VAE - performance

Open

#1 249 ouverte le 25 nov. 2020

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (2 972 forks)batch import
help wanted

Métriques du dépôt

Stars
 (17 706 stars)
Métriques de merge PR
 (Merge moyen 6j 16h) (10 PRs mergées en 30 j)

Description

I've noticed some differences in training time and performance between this tensorflow 2 implementation and the original version:

  • lower ratings should be removed

user-to-movie interactions with rating <=3.5 are filtered out but they are used to generate test_data_te_ratings, val_data_te_ratings that are used to compute the metrics for the model. Could I ask why?

  • huge spike in memory consumption, using dataset 20m when the training is started will gobble up ~25gb RAM while the initial version will only use ~4gb RAM. Is this is a bug?

Thank you

Guide contributeur

Direction de recherche
Profilez la consommation mémoire pendant l'entraînement ; comparez les stratégies de chargement de données entre TensorFlow 2 et l'implémentation d'origine. Vérifiez si le pic de mémoire est dû à un batch inefficace ou au stockage de grands tenseurs. En outre, étudiez la logique de filtrage pour les notes <=3.5 et son impact sur les métriques d'évaluation.
Stack technique
pythontensorflow
Domaine
machine learningbackend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonTensorFlowRecommendation Systems
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60