recommenders-team/recommenders

[ASK] Using datasets with a large number of users such as Gowalla in LightGCN model, RAM gets a lot involved

Open

#1697 aperta il 7 apr 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (2972 fork)batch import
help wanted

Metriche repository

Star
 (17.706 star)
Metriche merge PR
 (Merge medio 6g 16h) (10 PR mergiate in 30 g)

Descrizione

I'm using google colab for training the model. I used gowalla dataset and after a few seconds after calling model = LightGCN(hparams, data, seed=SEED) System RAM gets full and my session terminates. I think this happens when creating adjacency matrix what should I do to fix this?

Guida contributor

Direzione di ricerca
Indaga rappresentazioni efficienti della matrice di adiacenza in termini di memoria, come matrici sparse (es. scipy.sparse) o elaborazione batch. Considera l'uso di memory mapping o costruzione incrementale del grafo.
Tech stack
python
Dominio
machine learning
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30