Can it support multi-gpu int-8 quantization?

Metriche repository

Star

38.959 star (38.959 star)

Metriche merge PR

Nessuna PR mergiata in 30 g (Nessuna PR mergiata in 30 g)

Descrizione

Guida contributor

Direzione di ricerca

Studia l'implementazione dell'adattatore del modello per la quantizzazione int8 su singola GPU e progetta un'estensione per supportare più GPU, concentrandoti sul bilanciamento del carico e sulla comunicazione tra GPU.

Tech stack

pythonpytorch

Dominio

backendmachine learning

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-2 giorni

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Abbastanza chiara

Prerequisiti

PythonPyTorchCUDAMulti GPU concepts

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

30