pytorch/ignite

enable automatic mixed precision for xla

Open

#1931 aperta il 12 apr 2021

Vedi su GitHub
 (8 commenti) (1 reazione) (0 assegnatari)Python (602 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (4313 star)
Metriche merge PR
 (Merge medio 18g 23h) (19 PR mergiate in 30 g)

Descrizione

Feature

Automatic mixed precision for xla has landed in pytorch 1.8.1 and torch/xla nightly. We should enable it in create_supervised_* helper functions.

Suggested solution

Remove xla and amp checks in _check_arg().

  • For create_supervised_trainer, update supervised_training_step_tpu() function to accept scaler argument just like supervised_training_step_amp().
  • For create_supervised_evaluator, just removing xla and amp checks in _check_arg() should work.
  • For tests, we could remove xla checks and only run with pytorch 1.8.1.

Additional context

This feature should not be included in ignite release until the next torch and xla comes out.

Guida contributor

Direzione di ricerca
Esamina check arg() e supervised training step tpu() in ignite/engine/ init .py per comprendere gli attuali controlli XLA e AMP e modificarli per abilitare la precisione mista. Aggiorna di conseguenza create supervised trainer e create supervised evaluator. Assicura la compatibilità con PyTorch 1.8.1 e torch/xla nightly.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60