pytorch/text

Language modelling dataset only one sample

Open

Aperta il 12 set 2018

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (3396 star) (822 fork)batch import
datasetshelp wanted

Descrizione

from torchtext import data
from torchtext import datasets

TEXT = data.Field(lower=True, batch_first=True)

train, valid, test = datasets.WikiText2.splits(TEXT)

print('len(train)', len(train))

This returns a length of one. It should print the length of the whole dataset. I have tried both with version 0.2.3 and 0.3 and none of them worked.

Guida contributor

Tech stack
pythonpytorch
Dominio
data
Tipo issue
bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
Python programmingPyTorch basicstorchtext dataset API
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50
Direzione di ricerca
Investigate the implementation of the `splits` method or the WikiText2 dataset class in the torchtext library. The bug likely resides in how the dataset is loaded or split, causing only one sample to be returned. Examine the source code in the `torchtext/datasets/` directory and check for any version specific issues between 0.2.3 and 0.3. Also review any related issues or documentation to understand expected behavior.