pytorch/text

Language modelling dataset only one sample

Open

#381 aberto em 12 de set. de 2018

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Python (3.396 stars) (822 forks)batch import
datasetshelp wanted

Description

from torchtext import data
from torchtext import datasets

TEXT = data.Field(lower=True, batch_first=True)

train, valid, test = datasets.WikiText2.splits(TEXT)

print('len(train)', len(train))

This returns a length of one. It should print the length of the whole dataset. I have tried both with version 0.2.3 and 0.3 and none of them worked.

Guia do colaborador

Pilha de tecnologia
pythonpytorch
Domain
data
Tipo Issue
bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 hours
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
Python programmingPyTorch basicstorchtext dataset API
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50
Direção de pesquisa
Investigate the implementation of the `splits` method or the WikiText2 dataset class in the torchtext library. The bug likely resides in how the dataset is loaded or split, causing only one sample to be returned. Examine the source code in the `torchtext/datasets/` directory and check for any version specific issues between 0.2.3 and 0.3. Also review any related issues or documentation to understand expected behavior.