FluxML/Flux.jl

'cell_clip' and 'proj_clip' for Flux: LSTM

Open

#653 opened on 2019年3月1日

GitHub で見る
 (1 comment) (0 reactions) (0 assignees)Julia (4,725 stars) (619 forks)batch import
enhancementhelp wanted

説明

Looking through the docs. , I found that this feature is missing for LSTM layers. It comes as an optional parameter in tensorflow LSTMCell This will be useful for porting stuff to flux while achieving the same results as from tensorflow implementations for some popular algorithms (like ELMo). Looking in the code base of tensorflow if says that it clip the value of cell states between [-cell_clip, cell_clip] in it's clip_by_value method.

コントリビューターガイド

技術スタック
なし
領域
machine learning
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3 hours
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
mostly clear
前提条件
Familiarity with LSTM internalsJulia basicsFlux.jl library structure
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30
調査方針
The issue requests adding cell clip and proj clip parameters to LSTM layers in Flux.jl. To implement, first locate the existing LSTM implementation in the Flux source, likely in `src/layers/stateless.jl` or similar. Study how TensorFlow's LSTMCell applies clipping using `clip by value`. Then modify the Flux LSTM forward pass to optionally clip cell and hidden states. Consider adding a new keyword argument to the LSTM constructor and integrating it into the recurrent cell computation. Finally, write tests to verify the clipping behavior matches TensorFlow's. Review any linked PRs or comments for additional context.