pytorch/ignite

Top-K precision/recall multilabel metrics for ranking task

Open

#467 aberto em 31 de mar. de 2019

Ver no GitHub
 (12 comments) (0 reactions) (0 assignees)Python (602 forks)batch import
enhancementhelp wantedmodule: metrics

Métricas do repositório

Stars
 (4.313 stars)
Métricas de merge de PR
 (Mesclagem média 18d 23h) (19 fundiu PRs em 30d)

Description

Following the discussion from https://github.com/pytorch/ignite/issues/466#issuecomment-478339986 it would be nice to have such metric in Ignite.

In the context of a multilabel task, compute a top-k precision/recall per label (treating all labels independently).

Guia do colaborador

Direção de pesquisa
Examine a discussão no issue vinculado #466 e as implementações de métricas existentes no Ignite para entender o padrão para adicionar uma nova métrica. Concentre se no comportamento esperado para precisão/revocação top k por rótulo em um contexto de classificação multirrótulo.
Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchIgnite
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60