OpenNMT/OpenNMT-tf

Multi-decoder setup for multi-task learning

Open

#130 aperta il 22 mag 2018

Vedi su GitHub
 (5 commenti) (0 reazioni) (0 assegnatari)Python (394 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (1428 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Similarly to the ParallelEncoder, a ParallelDecoder setup could allow multi-task learning. This should not be too hard to implement but we need to take care of some details:

  • support separate values for the decoding parameters (beam_width, length_penalty, etc.),
  • parts of SequenceToSequence assume a single output head (e.g. loss computation, reverse vocabulary lookup, exported outputs for model serving, etc. which should be moved in the decoder itself)

Guida contributor

Direzione di ricerca
Esamina l'implementazione esistente di `ParallelEncoder` per orientamento. Concentrati sulla classe `SequenceToSequence` per identificare tutti i componenti che presuppongono una singola testa di output, come il calcolo della perdita e la ricerca inversa del vocabolario. Rivedi la gestione dei parametri del decoder per capire come supportare beam width e length penalty separati per ogni decoder. Controlla le issue e le PR collegate per eventuali discussioni precedenti o implementazioni parziali.
Tech stack
pythontensorflow
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonTensorFlowsequence to sequence modelsOpenNMT tf codebase
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30