pytorch/ignite

Add oneCCL backend for idist

Open

#1.728 geöffnet am 2. März 2021

Auf GitHub ansehen
 (5 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (4.313 Stars) (602 Forks)batch import
HacktoberfestPyDataGlobalenhancementhelp wantedneeds-discussion

Beschreibung

🚀 Feature

The idea is to add "oneCCL" backend by extending our torch native dist model.

Any interest for that ?

Refs:

Contributor Guide

Tech Stack
pythonpytorch
Domain
backendmachine learning
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
over 1 week
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
PythonPyTorchDistributed training basicsoneCCL knowledge
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20
Research-Richtung
The issue requests adding a oneCCL backend by extending the torch native distributed model in `ignite/distributed/comp models/native.py`. Investigate the current implementation and the references to Intel's torch ccl and PyTorch with oneCCL backend. The maintainers have not yet provided implementation guidance, so a contributor should start by understanding the architecture of the existing comp models and how to integrate a new backend similar to the NCCL or Gloo backends. Check the linked references for details on oneCCL integration with PyTorch.