pytorch/ignite

Improve distributed tests for Confusion Matrix (CM and MLCM)

Open

#1.657 geöffnet am 20. Feb. 2021

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (4.313 Stars) (602 Forks)batch import
HacktoberfestPyDataGlobalenhancementhelp wantedmodule: metrics

Beschreibung

Currently, the testing data is generated without taking into account distributed context: https://github.com/pytorch/ignite/blob/e17acc740d38909ddbbed6648423750abe593e58/tests/ignite/metrics/test_confusion_matrix.py#L559-L565

same for MultiLabelConfusionMatrix tests.

We would like to rewrite the tests in a similar way as here : https://github.com/pytorch/ignite/blob/e17acc740d38909ddbbed6648423750abe593e58/tests/ignite/metrics/test_recall.py#L778-L785

See https://github.com/pytorch/ignite/issues#issuecomment-782750122

cc @touqir14

Contributor Guide

Tech Stack
pythonpytorch
Domain
testingmachine learning
Issue Type
test
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
PyTorch basicsIgnite test structuredistributed testing knowledgeconfusion matrix metrics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60
Research-Richtung
The issue requires rewriting the test data generation for ConfusionMatrix and MultiLabelConfusionMatrix to properly simulate distributed context. The existing tests in tests/ignite/metrics/test confusion matrix.py (lines 559-565) need to be replaced with a pattern similar to tests/ignite/metrics/test recall.py (lines 778-785). The contributor should study the distributed test setup in the linked example and ensure the metrics compute correctly across multiple processes.