pytorch/ignite

Improve distributed tests for Confusion Matrix (CM and MLCM)

Open

#1.657 aberto em 20 de fev. de 2021

Ver no GitHub
 (6 comments) (0 reactions) (0 assignees)Python (4.313 stars) (602 forks)batch import
HacktoberfestPyDataGlobalenhancementhelp wantedmodule: metrics

Description

Currently, the testing data is generated without taking into account distributed context: https://github.com/pytorch/ignite/blob/e17acc740d38909ddbbed6648423750abe593e58/tests/ignite/metrics/test_confusion_matrix.py#L559-L565

same for MultiLabelConfusionMatrix tests.

We would like to rewrite the tests in a similar way as here : https://github.com/pytorch/ignite/blob/e17acc740d38909ddbbed6648423750abe593e58/tests/ignite/metrics/test_recall.py#L778-L785

See https://github.com/pytorch/ignite/issues#issuecomment-782750122

cc @touqir14

Guia do colaborador

Pilha de tecnologia
pythonpytorch
Domain
testingmachine learning
Tipo Issue
test
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 hours
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
PyTorch basicsIgnite test structuredistributed testing knowledgeconfusion matrix metrics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60
Direção de pesquisa
The issue requires rewriting the test data generation for ConfusionMatrix and MultiLabelConfusionMatrix to properly simulate distributed context. The existing tests in tests/ignite/metrics/test confusion matrix.py (lines 559-565) need to be replaced with a pattern similar to tests/ignite/metrics/test recall.py (lines 778-785). The contributor should study the distributed test setup in the linked example and ensure the metrics compute correctly across multiple processes.