facebookresearch/fairseq

key_padding_mask is not used in transformer decoder layer?

Open

#537 geöffnet am 27. Feb. 2019

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (6.224 Forks)batch import
bughelp wanted

Repository-Metriken

Stars
 (29.107 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

when reading the source code i found that key_padding_mask is not used when calculating self attention. There is no problem when the target is padded right by default because attn_mask could do the same thing. But how about left padding on the target?

Contributor Guide

Research-Richtung
Untersuche den Quellcode der Transformer Decoder Schicht, um zu überprüfen, ob key padding mask in der Selbstaufmerksamkeit ignoriert wird; schlage dann einen Patch vor, um es zu integrieren, wobei links aufgefüllte Ziele berücksichtigt werden.
Tech Stack
python
Domain
backendmachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
PythonPyTorchTransformer architecture
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45