pytorch/ignite

enable automatic mixed precision for xla

Ouverte

#1 931 ouverte le 12 avr. 2021

Voir sur GitHubGuide contributeur
 (9 commentaires) (1 réaction) (0 personne assignée)Python (602 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (4 313 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Feature

Automatic mixed precision for xla has landed in pytorch 1.8.1 and torch/xla nightly. We should enable it in create_supervised_* helper functions.

Suggested solution

Remove xla and amp checks in _check_arg().

  • For create_supervised_trainer, update supervised_training_step_tpu() function to accept scaler argument just like supervised_training_step_amp().
  • For create_supervised_evaluator, just removing xla and amp checks in _check_arg() should work.
  • For tests, we could remove xla checks and only run with pytorch 1.8.1.

Additional context

This feature should not be included in ignite release until the next torch and xla comes out.

Guide contributeur

Direction de recherche
Examinez check arg() et supervised training step tpu() dans ignite/engine/ init .py pour comprendre les vérifications XLA et AMP actuelles et les modifier afin d'activer la précision mixte. Mettez à jour create supervised trainer et create supervised evaluator en conséquence. Assurez la compatibilité avec PyTorch 1.8.1 et torch/xla nightly.
Stack technique
python
Domaine
backendmachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60