recommenders-team/recommenders

[ASK] Running evaluation on test set for DKN

Open

#1 807 ouverte le 4 août 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (2 972 forks)batch import
help wanted

Métriques du dépôt

Stars
 (17 706 stars)
Métriques de merge PR
 (Merge moyen 6j 16h) (10 PRs mergées en 30 j)

Description

Description

I've have been using DKN Deep Dive, but I wanted to add evaluation on the test data. When I run model.run_eval(test_file) I am getting an error. I believe this is because the test data has users that are not present in the training data.

I am using the small MIND dataset. But I split my training, validation and test data a little differently. Training is all of the small training data but the last day. Validation is the last day of the small training data Test is all of the small validation data.

Is this the expected behavior?

Other Comments

Guide contributeur

Direction de recherche
Consultez la documentation et le code source de la méthode run eval du modèle DKN pour comprendre comment elle gère les utilisateurs inconnus ; examinez les pratiques d'évaluation typiques pour les modèles de recommandation avec des utilisateurs cold start.
Stack technique
python
Domaine
backendmachine learning
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonRecommendation systems
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60