piskvorky/gensim

WordEmbeddingsKeyedVectors.add() doesn't clear `vectors_norm`, causing `IndexError` on later `most_similar()`

Open

#2532 aperta il 18 giu 2019

Vedi su GitHub
 (17 commenti) (0 reazioni) (0 assegnatari)Python (4349 fork)batch import
Hacktoberfestbugdifficulty easygood first issueimpact MEDIUMreach LOW

Metriche repository

Star
 (15.144 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

As reported in a StackOverflow question/answer: https://stackoverflow.com/a/56641265/130288

An adapted version of the asker's minimal test case (which could become a unit test):

import numpy as np
from gensim.models.keyedvectors import WordEmbeddingsKeyedVectors

kv = WordEmbeddingsKeyedVectors(vector_size=3)
kv.add(entities=['a', 'b'],
       weights=[np.random.rand(3), np.random.rand(3)])
kv.most_similar('a')  # works

kv.add(entities=['c'], weights=[np.random.rand(3)])
kv.most_similar('c')  # fails with `IndexError`

Clearing the vectors_norm property (with either del or assignment-to-None) should be sufficient to trigger re-calculation upon the next most_similar().

Guida contributor

Direzione di ricerca
Esamina il file `gensim/models/keyedvectors.py`, in particolare il metodo `add()` e il metodo `most similar()`. Il problema è che `add()` non cancella la proprietà memorizzata nella cache `vectors norm`, causando il fallimento di `most similar()` con `IndexError` quando viene chiamato dopo aver aggiunto nuove entità. La soluzione è impostare `self.vectors norm = None` all'interno di `add()` dopo aver modificato i vettori. Il caso di test fornito può essere utilizzato per verificare la correzione. Non è necessaria alcuna chiarificazione da parte del manutentore; la soluzione è semplice.
Tech stack
python
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonNumPy
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75