recommenders-team/recommenders

[ASK] Question on ndcg_at_k calculation

Open

#1 962 ouverte le 24 juil. 2023

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (2 972 forks)batch import
help wanted

Métriques du dépôt

Stars
 (17 706 stars)
Métriques de merge PR
 (Merge moyen 6j 16h) (10 PRs mergées en 30 j)

Description

Description

Why are we using rank ('first) to get the order of the ideal ranking instead of rank('min') or rank('average)?

https://github.com/microsoft/recommenders/blob/main/recommenders/evaluation/python_evaluation.py#L687 line 597 df_idcg["irank"] = df_idcg.groupby(col_user, as_index=False, sort=False)[ col_rating ].rank("first", ascending=False)

In this case, if there is a tied in the rating, for example, item A, B, C, D, rating is 1, 0, 0,0. Using rank('first), irank = 1,2,3,4. But should we take the tied condition into consideration, that means the irank = 1,2,2,2?

Other Comments

Guide contributeur

Direction de recherche
Étudiez l'impact de l'utilisation de différentes méthodes de classement (first, min, average) pour les notes à égalité sur le calcul du NDCG. Comparez l'implémentation actuelle avec la gestion idéale des égalités.
Stack technique
python
Domaine
databackend
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonRecommendation Systems
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50