OpenNMT/OpenNMT-tf

Multi-decoder setup for multi-task learning

Open

#130 ouverte le 22 mai 2018

Voir sur GitHub
 (5 commentaires) (0 réactions) (0 assignés)Python (394 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (1 428 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Similarly to the ParallelEncoder, a ParallelDecoder setup could allow multi-task learning. This should not be too hard to implement but we need to take care of some details:

  • support separate values for the decoding parameters (beam_width, length_penalty, etc.),
  • parts of SequenceToSequence assume a single output head (e.g. loss computation, reverse vocabulary lookup, exported outputs for model serving, etc. which should be moved in the decoder itself)

Guide contributeur

Direction de recherche
Examinez l'implémentation existante de `ParallelEncoder` pour vous guider. Concentrez vous sur la classe `SequenceToSequence` pour identifier tous les composants qui supposent une seule tête de sortie, comme le calcul de perte et la recherche inversée de vocabulaire. Passez en revue la gestion des paramètres du décodeur pour comprendre comment prendre en charge des beam width et length penalty distincts par décodeur. Vérifiez les issues et PR liées pour toute discussion antérieure ou implémentations partielles.
Stack technique
pythontensorflow
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonTensorFlowsequence to sequence modelsOpenNMT tf codebase
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30