FluxML/Flux.jl

'cell_clip' and 'proj_clip' for Flux: LSTM

Open

#653 ouverte le 1 mars 2019

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Julia (619 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (4 725 stars)
Métriques de merge PR
 (Merge moyen 4h 27m) (2 PRs mergées en 30 j)

Description

Looking through the docs. , I found that this feature is missing for LSTM layers. It comes as an optional parameter in tensorflow LSTMCell This will be useful for porting stuff to flux while achieving the same results as from tensorflow implementations for some popular algorithms (like ELMo). Looking in the code base of tensorflow if says that it clip the value of cell states between [-cell_clip, cell_clip] in it's clip_by_value method.

Guide contributeur

Direction de recherche
La demande de l'issue est d'ajouter les paramètres cell clip et proj clip aux couches LSTM dans Flux.jl. Pour implémenter, localisez d'abord l'implémentation LSTM existante dans le code source de Flux, probablement dans `src/layers/stateless.jl` ou similaire. Étudiez comment le LSTMCell de TensorFlow applique l'écrêtage en utilisant `clip by value`. Modifiez ensuite la passe avant du LSTM de Flux pour écrêter optionnellement les états de cellule et cachés. Envisagez d'ajouter un nouvel argument mot clé au constructeur LSTM et de l'intégrer dans le calcul de la cellule récurrente. Enfin, écrivez des tests pour vérifier que le comportement d'écrêtage correspond à celui de TensorFlow. Consultez les PR ou commentaires liés pour un contexte supplémentaire.
Stack technique
Aucun
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Familiarity with LSTM internalsJulia basicsFlux.jl library structure
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30