pytorch/ignite

Top-K precision/recall multilabel metrics for ranking task

Ouverte

#467 ouverte le 31 mars 2019

Voir sur GitHubGuide contributeur
 (12 commentaires) (0 réaction) (0 personne assignée)Python (602 forks)batch import
enhancementhelp wantedmodule: metrics

Métriques du dépôt

Stars
 (4 313 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Following the discussion from https://github.com/pytorch/ignite/issues/466#issuecomment-478339986 it would be nice to have such metric in Ignite.

In the context of a multilabel task, compute a top-k precision/recall per label (treating all labels independently).

Guide contributeur

Direction de recherche
Examinez la discussion dans le problème lié #466 et les implémentations de métriques existantes dans Ignite pour comprendre le modèle d'ajout d'une nouvelle métrique. Concentrez vous sur le comportement attendu pour la précision/rappel top k par étiquette dans un contexte de classement multi étiquettes.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchIgnite
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60