pytorch/text

Vocab vectors using complete pretrained-embedding?

Open

#446 ouverte le 12 oct. 2018

Voir sur GitHub
 (6 commentaires) (0 réactions) (0 assignés)Python (822 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (3 396 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

I am new to pytorch and nlp. I have a question when I tried to build a model.

Since my training dataset is not so big, the size of its vocab is relatively small (around 5000). However, I want to deal with any other user input which could be out of this vocabulary.

The problem is, in the model I trained, the embedding layer's weight is based on the vectors of the field, not the whole word2vec pretrained embeddings. So I cannot modified it after the training is done.

I wondered is there any better approach to do it? Thanks in advance!

Guide contributeur

Direction de recherche
Explorez comment étendre la couche d'embedding pour inclure les tokens OOV en recherchant la matrice d'embedding pré entraînée complète lors de l'inférence, en utilisant éventuellement un mappage séparé pour les mots inconnus.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
1
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Moins d'une heure
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40