recommenders-team/recommenders

[ASK] Using datasets with a large number of users such as Gowalla in LightGCN model, RAM gets a lot involved

Open

#1.697 geöffnet am 7. Apr. 2022

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (2.972 Forks)batch import
help wanted

Repository-Metriken

Stars
 (17.706 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 16h) (10 gemergte PRs in 30 T)

Beschreibung

I'm using google colab for training the model. I used gowalla dataset and after a few seconds after calling model = LightGCN(hparams, data, seed=SEED) System RAM gets full and my session terminates. I think this happens when creating adjacency matrix what should I do to fix this?

Contributor Guide

Research-Richtung
Untersuchen Sie speichereffiziente Adjazenzmatrix Darstellungen wie dünnbesetzte Matrizen (z.B. scipy.sparse) oder Batch Verarbeitung. Erwägen Sie Memory Mapping oder inkrementellen Graphenaufbau.
Tech Stack
python
Domain
machine learning
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30