FluxML/Flux.jl

'cell_clip' and 'proj_clip' for Flux: LSTM

Open

#653 geöffnet am 1. März 2019

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Julia (619 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (4.725 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 4h 27m) (2 gemergte PRs in 30 T)

Beschreibung

Looking through the docs. , I found that this feature is missing for LSTM layers. It comes as an optional parameter in tensorflow LSTMCell This will be useful for porting stuff to flux while achieving the same results as from tensorflow implementations for some popular algorithms (like ELMo). Looking in the code base of tensorflow if says that it clip the value of cell states between [-cell_clip, cell_clip] in it's clip_by_value method.

Contributor Guide

Research-Richtung
Das Issue fordert die Hinzufügung der Parameter cell clip und proj clip zu LSTM Schichten in Flux.jl. Zur Implementierung suchen Sie zunächst die bestehende LSTM Implementierung im Flux Quellcode, wahrscheinlich in `src/layers/stateless.jl` oder ähnlich. Untersuchen Sie, wie TensorFlow's LSTMCell das Clipping mit `clip by value` anwendet. Modifizieren Sie dann den LSTM Vorwärtsdurchlauf in Flux, um optional Zell und versteckte Zustände zu beschneiden. Erwägen Sie, ein neues Schlüsselwortargument zum LSTM Konstruktor hinzuzufügen und es in die Berechnung der rekurrenten Zelle zu integrieren. Schreiben Sie schließlich Tests, um zu überprüfen, ob das Clipping Verhalten mit dem von TensorFlow übereinstimmt. Überprüfen Sie verknüpfte PRs oder Kommentare für zusätzlichen Kontext.
Tech Stack
Keine
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Familiarity with LSTM internalsJulia basicsFlux.jl library structure
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30