facebookresearch/fairseq

key_padding_mask is not used in transformer decoder layer?

Open

#537 aperta il 27 feb 2019

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
bughelp wanted

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

when reading the source code i found that key_padding_mask is not used when calculating self attention. There is no problem when the target is padded right by default because attn_mask could do the same thing. But how about left padding on the target?

Guida contributor

Direzione di ricerca
Esamina il codice sorgente del livello decoder del transformer per verificare se key padding mask viene ignorato nell'auto attenzione; quindi proponi una patch per incorporarlo, considerando i target con padding a sinistra.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonPyTorchTransformer architecture
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45