recommenders-team/recommenders

[ASK] Running evaluation on test set for DKN

Open

#1.807 aberto em 4 de ago. de 2022

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (2.972 forks)batch import
help wanted

Métricas do repositório

Stars
 (17.706 stars)
Métricas de merge de PR
 (Mesclagem média 6d 16h) (10 fundiu PRs em 30d)

Description

Description

I've have been using DKN Deep Dive, but I wanted to add evaluation on the test data. When I run model.run_eval(test_file) I am getting an error. I believe this is because the test data has users that are not present in the training data.

I am using the small MIND dataset. But I split my training, validation and test data a little differently. Training is all of the small training data but the last day. Validation is the last day of the small training data Test is all of the small validation data.

Is this the expected behavior?

Other Comments

Guia do colaborador

Direção de pesquisa
Verifique a documentação e o código fonte do método run eval do modelo DKN para entender como ele lida com usuários não vistos; examine práticas típicas de avaliação para modelos de recomendação com usuários cold start.
Pilha de tecnologia
python
Domain
backendmachine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonRecommendation systems
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60