FluxML/Flux.jl

'cell_clip' and 'proj_clip' for Flux: LSTM

Open

#653 aperta il 1 mar 2019

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Julia (619 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (4725 star)
Metriche merge PR
 (Merge medio 4h 27m) (2 PR mergiate in 30 g)

Descrizione

Looking through the docs. , I found that this feature is missing for LSTM layers. It comes as an optional parameter in tensorflow LSTMCell This will be useful for porting stuff to flux while achieving the same results as from tensorflow implementations for some popular algorithms (like ELMo). Looking in the code base of tensorflow if says that it clip the value of cell states between [-cell_clip, cell_clip] in it's clip_by_value method.

Guida contributor

Direzione di ricerca
La richiesta del problema è di aggiungere i parametri cell clip e proj clip agli strati LSTM in Flux.jl. Per implementarli, individuare prima l'implementazione LSTM esistente nel sorgente di Flux, probabilmente in `src/layers/stateless.jl` o simile. Studiare come TensorFlow's LSTMCell applica il clipping utilizzando `clip by value`. Quindi modificare il forward pass dell'LSTM di Flux per opzionalmente ritagliare gli stati della cella e nascosti. Considerare l'aggiunta di un nuovo argomento keyword al costruttore LSTM e integrarlo nel calcolo della cella ricorrente. Infine, scrivere test per verificare che il comportamento di clipping corrisponda a quello di TensorFlow. Rivedere eventuali PR o commenti collegati per ulteriore contesto.
Tech stack
Nessuno
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Familiarity with LSTM internalsJulia basicsFlux.jl library structure
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30