Lightning-AI/pytorch-lightning

Integrating pytorch XLA when using multiple GPUs

Open

#16.130 aperta il 20 dic 2022

Vedi su GitHub
 (13 commenti) (4 reazioni) (0 assegnatari)Python (3233 fork)batch import
accelerator: cudafeaturehelp wantedstrategy: xla

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Description & Motivation

I've experienced with pytorch XLA using multitple NVIDIA A100 GPU and I observed that in most cases training is faster. So it would be really nice to have the option to use XLA for training in pytorch lightning.

The main advantage is faster training.

Additional context

Here is a code link : https://github.com/Dhouib-med/Test-XLA/blob/17e5b6bd6c77fffa67818462856277a57877ff3b/test_xla.py to train a simple CNN on the MNIST dataset using XLA (on 2 GPUS). The main parts where taken from https://github.com/pytorch/xla. This wheel needs to be installed along with adequate pytorch and torchvision versions (1.11 and 0.14) https://storage.googleapis.com/tpu-pytorch/wheels/cuda/112/torch_xla-1.13-cp37-cp37m-linux_x86_64.whl @justusschock

cc @borda @justusschock @awaelchli @carmocca @JackCaoG @steventk-g @Liyang90

Guida contributor

Direzione di ricerca
Studia l'implementazione della strategia multi GPU di PyTorch Lightning e l'integrazione del dispositivo XLA. Esamina il supporto XLA esistente in Lightning e identifica dove aggiungere la gestione multi GPU XLA.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchPyTorch LightningCUDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45