recommenders-team/recommenders

[ASK] Question on ndcg_at_k calculation

Open

#1.962 aberto em 24 de jul. de 2023

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (2.972 forks)batch import
help wanted

Métricas do repositório

Stars
 (17.706 stars)
Métricas de merge de PR
 (Mesclagem média 6d 16h) (10 fundiu PRs em 30d)

Description

Description

Why are we using rank ('first) to get the order of the ideal ranking instead of rank('min') or rank('average)?

https://github.com/microsoft/recommenders/blob/main/recommenders/evaluation/python_evaluation.py#L687 line 597 df_idcg["irank"] = df_idcg.groupby(col_user, as_index=False, sort=False)[ col_rating ].rank("first", ascending=False)

In this case, if there is a tied in the rating, for example, item A, B, C, D, rating is 1, 0, 0,0. Using rank('first), irank = 1,2,3,4. But should we take the tied condition into consideration, that means the irank = 1,2,2,2?

Other Comments

Guia do colaborador

Direção de pesquisa
Investigue o impacto do uso de diferentes métodos de classificação (first, min, average) para classificações empatadas no cálculo do NDCG. Compare a implementação atual com o tratamento ideal de empates.
Pilha de tecnologia
python
Domain
databackend
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonRecommendation Systems
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50