pytorch/text

Adding vocab to field object

Open

Aperta il 8 set 2018

Vedi su GitHub
 (12 commenti) (1 reazione) (0 assegnatari)Python (3396 star) (822 fork)batch import
enhancementhelp wanted

Descrizione

Hi Everyone,

Is there any way of adding more vocabulary to a Field object that already has had its vocab built?

for example if at one point I have run this sort of code:

TEXT = field()
TEXT.build_vocab(dataset_a)

Is it possible to add vocab to TEXT from another dataset without erasing the current vocab built from dataset_a?

Thanks!

Guida contributor

Tech stack
python
Dominio
data
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
familiarity with torchtext Fieldbasic vocabulary concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40
Direzione di ricerca
Investigate the current Field.build vocab implementation to see if it can be modified to allow incremental vocabulary updates. Review comments in the issue for suggested approaches. Consider adding a method like `extend vocab` that merges new words into the existing vocab without clearing the existing ones.