Tencent/TurboTransformers

Refactor MultiheadAttention and other Layers

Aperta

#140 aperta il 22 lug 2020

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)C++ (206 fork)github user discovery
enhancementhelp wanted

Metriche repository

Star
 (1546 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Now the logic inside MultiheadAttention Layer is too complex for development. Moreover, some bugs exist in intermediate management. It is the first priority to rewrite these codes to make others easily understand what Turbo is doing.

Guida contributor

Direzione di ricerca
Esamina l'attuale implementazione di MultiheadAttention, identifica i percorsi di codice ridondanti o con bug e rifattorizza in una struttura più semplice.
Tech stack
Nessuno
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++Transformer Models
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45