pytorch/ignite

Improve distributed tests for Confusion Matrix (CM and MLCM)

Open

#1.657 aberto em 20 de fev. de 2021

Ver no GitHub
 (8 comments) (0 reactions) (0 assignees)Python (602 forks)batch import
HacktoberfestPyDataGlobalenhancementhelp wantedmodule: metrics

Métricas do repositório

Stars
 (4.313 stars)
Métricas de merge de PR
 (Mesclagem média 18d 23h) (19 fundiu PRs em 30d)

Description

Currently, the testing data is generated without taking into account distributed context: https://github.com/pytorch/ignite/blob/e17acc740d38909ddbbed6648423750abe593e58/tests/ignite/metrics/test_confusion_matrix.py#L559-L565

same for MultiLabelConfusionMatrix tests.

We would like to rewrite the tests in a similar way as here : https://github.com/pytorch/ignite/blob/e17acc740d38909ddbbed6648423750abe593e58/tests/ignite/metrics/test_recall.py#L778-L785

See https://github.com/pytorch/ignite/issues#issuecomment-782750122

cc @touqir14

Guia do colaborador

Direção de pesquisa
Estude o exemplo vinculado em test recall.py para entender o padrão de teste distribuído, depois adapte a geração de dados de teste e as asserções da matriz de confusão para funcionar com múltiplos processos.
Pilha de tecnologia
pythonpytorch
Domain
backendtesting
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchTesting
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55