OpenNMT/OpenNMT-tf

Coverage Mechanism and Coverage Loss

Open

#180 ouverte le 25 juil. 2018

Voir sur GitHub
 (8 commentaires) (5 réactions) (0 assignés)Python (394 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (1 428 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

May I ask if there is any plan adding the coverage attention mechanism (https://arxiv.org/pdf/1601.04811.pdf) and coverage loss (https://arxiv.org/pdf/1704.04368.pdf) to the decoder, as these could potentially help alleviating the repetition problem in generation?

Or, any hints on a quick implementation? Thanks!

Guide contributeur

Direction de recherche
Examiner l'implémentation du décodeur dans OpenNMT tf (probablement dans le répertoire 'opennmt/decoders') pour comprendre le mécanisme d'attention actuel, puis implémenter l'attention de couverture comme décrit dans See et al. (2016) et la perte de couverture comme dans Tu et al. (2017). Vérifiez les commentaires de l'issue pour toute discussion antérieure sur les détails d'implémentation ou les références de code.
Stack technique
pythontensorflow
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Understanding of attention mechanismsTensorFlow basicsseq2seq models
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
25