pytorch/ignite

enable automatic mixed precision for xla

Open

#1.931 aberto em 12 de abr. de 2021

Ver no GitHub
 (8 comments) (1 reaction) (0 assignees)Python (602 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (4.313 stars)
Métricas de merge de PR
 (Mesclagem média 18d 23h) (19 fundiu PRs em 30d)

Description

Feature

Automatic mixed precision for xla has landed in pytorch 1.8.1 and torch/xla nightly. We should enable it in create_supervised_* helper functions.

Suggested solution

Remove xla and amp checks in _check_arg().

  • For create_supervised_trainer, update supervised_training_step_tpu() function to accept scaler argument just like supervised_training_step_amp().
  • For create_supervised_evaluator, just removing xla and amp checks in _check_arg() should work.
  • For tests, we could remove xla checks and only run with pytorch 1.8.1.

Additional context

This feature should not be included in ignite release until the next torch and xla comes out.

Guia do colaborador

Direção de pesquisa
Examine check arg() e supervised training step tpu() em ignite/engine/ init .py para entender as verificações atuais de XLA e AMP e modificá las para ativar a precisão mista. Atualize create supervised trainer e create supervised evaluador de acordo. Garanta compatibilidade com PyTorch 1.8.1 e torch/xla nightly.
Pilha de tecnologia
python
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60