pytorch/text

Language modelling dataset only one sample

Open

#381 aperta il 12 set 2018

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (822 fork)batch import
datasetshelp wanted

Metriche repository

Star
 (3396 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

from torchtext import data
from torchtext import datasets

TEXT = data.Field(lower=True, batch_first=True)

train, valid, test = datasets.WikiText2.splits(TEXT)

print('len(train)', len(train))

This returns a length of one. It should print the length of the whole dataset. I have tried both with version 0.2.3 and 0.3 and none of them worked.

Guida contributor

Direzione di ricerca
Esamina la logica di suddivisione del dataset di torchtext e la definizione di Field per capire perché viene restituito un solo campione.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75