pytorch/ignite

Tracking the metrics with performance gaps on XLA

Fermée

#2 109 ouverte le 14 juil. 2021

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (0 personne assignée)Python (602 forks)batch import
HacktoberfestPyDataGlobalenhancementhelp wantedmodule: metrics

Métriques du dépôt

Stars
 (4 313 étoiles)
Métriques de merge PR
 (Merge moyen 18j 23h) (19 PRs mergées en 30 j)

Description

🚀 Feature

Since this commit, the metrics have been disabled with xla device due to a performance regression.

https://github.com/pytorch/ignite/blob/7bdf92322a15ba0bea71ad76f3f785b7ea5907c3/ignite/metrics/metric.py#L224-L225

To solve this, it would be interesting to track which metrics work fine and which have lack of performance. Thus, we could think about more specific enable / disable process.

Guide contributeur

Direction de recherche
Étudiez le commit référencé 002b595daa8a8345286c5e096c33e278948686a7 pour comprendre pourquoi les métriques ont été désactivées sur XLA. Examinez le code aux lignes 224-225 de ignite/metrics/metric.py pour identifier la régression de performance. Ensuite, mesurez quelles métriques (par exemple, Accuracy, Loss) fonctionnent bien sur XLA et lesquelles causent des ralentissements. L'objectif est de proposer un mécanisme plus granulaire pour activer/désactiver les métriques sur les appareils XLA.
Stack technique
python
Domaine
performancemachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
Aucun
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
25