recommenders-team/recommenders

[ASK] Question on ndcg_at_k calculation

Open

#1.962 geöffnet am 24. Juli 2023

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (2.972 Forks)batch import
help wanted

Repository-Metriken

Stars
 (17.706 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 16h) (10 gemergte PRs in 30 T)

Beschreibung

Description

Why are we using rank ('first) to get the order of the ideal ranking instead of rank('min') or rank('average)?

https://github.com/microsoft/recommenders/blob/main/recommenders/evaluation/python_evaluation.py#L687 line 597 df_idcg["irank"] = df_idcg.groupby(col_user, as_index=False, sort=False)[ col_rating ].rank("first", ascending=False)

In this case, if there is a tied in the rating, for example, item A, B, C, D, rating is 1, 0, 0,0. Using rank('first), irank = 1,2,3,4. But should we take the tied condition into consideration, that means the irank = 1,2,2,2?

Other Comments

Contributor Guide

Research-Richtung
Untersuche die Auswirkungen der Verwendung verschiedener Rangmethoden (first, min, average) für verbundene Bewertungen auf die NDCG Berechnung. Vergleiche die aktuelle Implementierung mit der idealen Behandlung von Gleichständen.
Tech Stack
python
Domain
databackend
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonRecommendation Systems
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50