OpenNMT/OpenNMT-tf

Coverage Mechanism and Coverage Loss

Open

#180 aperta il 25 lug 2018

Vedi su GitHub
 (8 commenti) (5 reazioni) (0 assegnatari)Python (394 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (1428 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

May I ask if there is any plan adding the coverage attention mechanism (https://arxiv.org/pdf/1601.04811.pdf) and coverage loss (https://arxiv.org/pdf/1704.04368.pdf) to the decoder, as these could potentially help alleviating the repetition problem in generation?

Or, any hints on a quick implementation? Thanks!

Guida contributor

Direzione di ricerca
Rivedere l'implementazione del decoder in OpenNMT tf (probabilmente nella directory 'opennmt/decoders') per comprendere il meccanismo di attenzione attuale, quindi implementare l'attenzione di copertura come descritto in See et al. (2016) e la perdita di copertura come in Tu et al. (2017). Controllare i commenti dell'issue per eventuali discussioni precedenti sui dettagli di implementazione o riferimenti al codice.
Tech stack
pythontensorflow
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Understanding of attention mechanismsTensorFlow basicsseq2seq models
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25