pytorch/ignite

Top-K precision/recall multilabel metrics for ranking task

Offen

#467 geöffnet am 31.03.2019

Auf GitHub ansehenContributor Guide
 (12 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (602 Forks)batch import
enhancementhelp wantedmodule: metrics

Repository-Metriken

Stars
 (4.313 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Following the discussion from https://github.com/pytorch/ignite/issues/466#issuecomment-478339986 it would be nice to have such metric in Ignite.

In the context of a multilabel task, compute a top-k precision/recall per label (treating all labels independently).

Contributor Guide

Research-Richtung
Untersuche die Diskussion im verknüpften Issue #466 und die vorhandenen Metrikimplementierungen in Ignite, um das Muster zum Hinzufügen einer neuen Metrik zu verstehen. Konzentriere dich auf das erwartete Verhalten für Top k Präzision/Recall pro Label in einem Multilabel Ranking Kontext.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorchIgnite
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60