recommenders-team/recommenders

Multinomial VAE - performance

Open

#1249 aperta il 25 nov 2020

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (2972 fork)batch import
help wanted

Metriche repository

Star
 (17.706 star)
Metriche merge PR
 (Merge medio 6g 16h) (10 PR mergiate in 30 g)

Descrizione

I've noticed some differences in training time and performance between this tensorflow 2 implementation and the original version:

  • lower ratings should be removed

user-to-movie interactions with rating <=3.5 are filtered out but they are used to generate test_data_te_ratings, val_data_te_ratings that are used to compute the metrics for the model. Could I ask why?

  • huge spike in memory consumption, using dataset 20m when the training is started will gobble up ~25gb RAM while the initial version will only use ~4gb RAM. Is this is a bug?

Thank you

Guida contributor

Direzione di ricerca
Profila il consumo di memoria durante l'addestramento; confronta le strategie di caricamento dati tra TensorFlow 2 e l'implementazione originale. Verifica se il picco di memoria è dovuto a un batching inefficiente o alla memorizzazione di tensori di grandi dimensioni. Inoltre, indaga la logica di filtraggio per valutazioni <=3.5 e il suo impatto sulle metriche di valutazione.
Tech stack
pythontensorflow
Dominio
machine learningbackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonTensorFlowRecommendation Systems
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60