pytorch/ignite

Warning using ConfusionMatrix and setup_tb_logging

Fermée

#829 ouverte le 4 mars 2020

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (0 personne assignée)Python (602 forks)batch import
enhancementhelp wantedmodule: metrics

Métriques du dépôt

Stars
 (4 313 étoiles)
Métriques de merge PR
 (Merge moyen 18j 23h) (19 PRs mergées en 30 j)

Description

❓ Questions/Help/Support

logger configured by setup_tb_logging warns when a ConfusionMatrix metric is attached to the evaluator

tensorboard_logger.py:129: UserWarning: TensorboardLogger output_handler can not log metrics value type <class 'torch.Tensor'>
  "TensorboardLogger output_handler can not log " "metrics value type {}".format(type(value))

The reason is setup_tb_logging (via setup_any_logging) defines OutputHandler using metric_names="all" https://github.com/pytorch/ignite/blob/a22a0f5e909ac70d2a1f76a60b6e84b2134f196c/ignite/contrib/engines/common.py#L248-L254

What do you think to expose metric_names in the API to be able to fix the warning ?

Guide contributeur

Direction de recherche
Examine the setup tb logging function in ignite/contrib/engines/common.py (lines 248-254). The OutputHandler is instantiated with metric names="all", causing a warning when ConfusionMatrix returns tensors. Consider adding a parameter to setup tb logging to allow users to specify metric names, thereby avoiding the warning. Ensure backward compatibility and check if similar changes are needed in setup any logging.
Stack technique
python
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorchIgnite basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70