pytorch/ignite

Add oneCCL backend for idist

Open

Aperta il 2 mar 2021

Vedi su GitHub
 (5 commenti) (0 reazioni) (0 assegnatari)Python (4313 star) (602 fork)batch import
HacktoberfestPyDataGlobalenhancementhelp wantedneeds-discussion

Descrizione

🚀 Feature

The idea is to add "oneCCL" backend by extending our torch native dist model.

Any interest for that ?

Refs:

Guida contributor

Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
over 1 week
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
PythonPyTorchDistributed training basicsoneCCL knowledge
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20
Direzione di ricerca
The issue requests adding a oneCCL backend by extending the torch native distributed model in `ignite/distributed/comp models/native.py`. Investigate the current implementation and the references to Intel's torch ccl and PyTorch with oneCCL backend. The maintainers have not yet provided implementation guidance, so a contributor should start by understanding the architecture of the existing comp models and how to integrate a new backend similar to the NCCL or Gloo backends. Check the linked references for details on oneCCL integration with PyTorch.