OpenNMT/OpenNMT-tf

Multi-decoder setup for multi-task learning

Open

#130 geöffnet am 22. Mai 2018

Auf GitHub ansehen
 (5 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (394 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (1.428 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Similarly to the ParallelEncoder, a ParallelDecoder setup could allow multi-task learning. This should not be too hard to implement but we need to take care of some details:

  • support separate values for the decoding parameters (beam_width, length_penalty, etc.),
  • parts of SequenceToSequence assume a single output head (e.g. loss computation, reverse vocabulary lookup, exported outputs for model serving, etc. which should be moved in the decoder itself)

Contributor Guide

Research-Richtung
Untersuche die bestehende `ParallelEncoder` Implementierung als Orientierung. Konzentriere dich auf die `SequenceToSequence` Klasse, um alle Komponenten zu identifizieren, die von einem einzelnen Ausgabekopf ausgehen, wie z.B. Verlustberechnung und umgekehrte Vokabelnachschlage. Überprüfe die Decoder Parameterverarbeitung, um zu verstehen, wie separate beam width und length penalty pro Decoder unterstützt werden können. Prüfe verknüpfte Issues und PRs auf frühere Diskussionen oder Teilimplementierungen.
Tech Stack
pythontensorflow
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonTensorFlowsequence to sequence modelsOpenNMT tf codebase
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30