pytorch/text

Adding vocab to field object

Open

#378 aberto em 8 de set. de 2018

Ver no GitHub
 (12 comments) (1 reaction) (0 assignees)Python (822 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (3.396 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi Everyone,

Is there any way of adding more vocabulary to a Field object that already has had its vocab built?

for example if at one point I have run this sort of code:

TEXT = field()
TEXT.build_vocab(dataset_a)

Is it possible to add vocab to TEXT from another dataset without erasing the current vocab built from dataset_a?

Thanks!

Guia do colaborador

Direção de pesquisa
Investigue os métodos da classe Vocab, como `extend` ou `append`; alternativamente, considere construir um novo vocabulário a partir de dados combinados usando `build vocab from iterator`.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythontorchtext
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60