OpenNMT/OpenNMT-tf

Coverage Mechanism and Coverage Loss

Open

#180 geöffnet am 25. Juli 2018

Auf GitHub ansehen
 (8 Kommentare) (5 Reaktionen) (0 zugewiesene Personen)Python (394 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (1.428 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

May I ask if there is any plan adding the coverage attention mechanism (https://arxiv.org/pdf/1601.04811.pdf) and coverage loss (https://arxiv.org/pdf/1704.04368.pdf) to the decoder, as these could potentially help alleviating the repetition problem in generation?

Or, any hints on a quick implementation? Thanks!

Contributor Guide

Research-Richtung
Überprüfen Sie die Decoder Implementierung in OpenNMT tf (wahrscheinlich im Verzeichnis 'opennmt/decoders'), um den aktuellen Aufmerksamkeitsmechanismus zu verstehen, und implementieren Sie dann die Coverage Aufmerksamkeit wie in See et al. (2016) beschrieben und den Coverage Verlust wie in Tu et al. (2017). Prüfen Sie die Issue Kommentare auf frühere Diskussionen zu Implementierungsdetails oder Code Referenzen.
Tech Stack
pythontensorflow
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Understanding of attention mechanismsTensorFlow basicsseq2seq models
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
25