recommenders-team/recommenders

Multinomial VAE - performance

Open

#1.249 geöffnet am 25. Nov. 2020

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (2.972 Forks)batch import
help wanted

Repository-Metriken

Stars
 (17.706 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 16h) (10 gemergte PRs in 30 T)

Beschreibung

I've noticed some differences in training time and performance between this tensorflow 2 implementation and the original version:

  • lower ratings should be removed

user-to-movie interactions with rating <=3.5 are filtered out but they are used to generate test_data_te_ratings, val_data_te_ratings that are used to compute the metrics for the model. Could I ask why?

  • huge spike in memory consumption, using dataset 20m when the training is started will gobble up ~25gb RAM while the initial version will only use ~4gb RAM. Is this is a bug?

Thank you

Contributor Guide

Research-Richtung
Profileren Sie den Speicherverbrauch während des Trainings; vergleichen Sie die Datenladestrategien zwischen TensorFlow 2 und der ursprünglichen Implementierung. Überprüfen Sie, ob der Speicheranstieg auf ineffizientes Batching oder das Speichern großer Tensoren zurückzuführen ist. Untersuchen Sie außerdem die Filterlogik für Bewertungen <=3.5 und deren Auswirkungen auf die Bewertungsmetriken.
Tech Stack
pythontensorflow
Domain
machine learningbackend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonTensorFlowRecommendation Systems
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60