Tencent/TurboTransformers

Developing CPU INT8 quantization

Aperta

#103 aperta il 28 giu 2020

Vedi su GitHub
 (5 commenti) (0 reazioni) (1 assegnatario)C++ (206 fork)github user discovery
documentationenhancementhelp wanted

Metriche repository

Star
 (1546 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Using FBGEMM to support CPU quantization.

Guida contributor

Direzione di ricerca
Studia la libreria FBGEMM per la quantizzazione INT8 e integrala nel backend CPU di TurboTransformers. Identifica i componenti chiave (ad esempio, packing, kernel) e implementali seguendo i pattern esistenti.
Tech stack
cpp
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++Quantization knowledge
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30