OpenNMT/OpenNMT-tf

Multi-decoder setup for multi-task learning

Open

#130 opened on 2018年5月22日

GitHub で見る
 (5 comments) (0 reactions) (0 assignees)Python (394 forks)batch import
enhancementhelp wanted

Repository metrics

Stars
 (1,428 stars)
PR merge metrics
 (30d に merged PR はありません)

説明

Similarly to the ParallelEncoder, a ParallelDecoder setup could allow multi-task learning. This should not be too hard to implement but we need to take care of some details:

  • support separate values for the decoding parameters (beam_width, length_penalty, etc.),
  • parts of SequenceToSequence assume a single output head (e.g. loss computation, reverse vocabulary lookup, exported outputs for model serving, etc. which should be moved in the decoder itself)

コントリビューターガイド

調査方針
既存の `ParallelEncoder` 実装を参考に調査する。`SequenceToSequence` クラスに焦点を当て、損失計算や逆語彙検索など、単一の出力ヘッドを想定しているすべてのコンポーネントを特定する。各デコーダーごとに独立した beam width と length penalty をサポートする方法を理解するために、デコーダーパラメータの処理を確認する。関連する issue や PR をチェックし、以前の議論や部分的な実装がないか確認する。
技術スタック
pythontensorflow
領域
machine learningai
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
4
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
古い
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
おおむね明確
前提条件
PythonTensorFlowsequence to sequence modelsOpenNMT tf codebase
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30