pytorch/text

How to load huge file of data?

Open

#130 aperta il 25 set 2017

Vedi su GitHub
 (15 commenti) (39 reazioni) (0 assegnatari)Python (822 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (3396 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hi guys, is there any plans or tutorial that I can refer to in order to load huge file of data? I have two scenarios in mind that I would probably use

  1. Assuming I have huge files that have already split into several files. How to load all of those files on demand subsequently?
  2. Assuming I have a single huge file. How to load the content on demand?

Thanks guys!

Guida contributor

Direzione di ricerca
Investiga i meccanismi esistenti di caricamento dati in PyTorch Text (es. torchtext.data) e suggerisci un supporto integrato o documentazione per caricare file di grandi dimensioni in blocchi o su richiesta. Esamina issue e pull request simili per contesto.
Tech stack
pythonpytorch
Dominio
data
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
80