recommenders-team/recommenders

[ASK] Running evaluation on test set for DKN

Open

#1807 aperta il 4 ago 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (2972 fork)batch import
help wanted

Metriche repository

Star
 (17.706 star)
Metriche merge PR
 (Merge medio 6g 16h) (10 PR mergiate in 30 g)

Descrizione

Description

I've have been using DKN Deep Dive, but I wanted to add evaluation on the test data. When I run model.run_eval(test_file) I am getting an error. I believe this is because the test data has users that are not present in the training data.

I am using the small MIND dataset. But I split my training, validation and test data a little differently. Training is all of the small training data but the last day. Validation is the last day of the small training data Test is all of the small validation data.

Is this the expected behavior?

Other Comments

Guida contributor

Direzione di ricerca
Controlla la documentazione e il codice sorgente del metodo run eval del modello DKN per comprendere come gestisce gli utenti sconosciuti; esamina le pratiche di valutazione tipiche per i modelli di raccomandazione con utenti cold start.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonRecommendation systems
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60