pytorch/text

How to load huge file of data?

Open

Aperta il 25 set 2017

Vedi su GitHub
 (15 commenti) (39 reazioni) (0 assegnatari)Python (3396 star) (822 fork)batch import
enhancementhelp wanted

Descrizione

Hi guys, is there any plans or tutorial that I can refer to in order to load huge file of data? I have two scenarios in mind that I would probably use

  1. Assuming I have huge files that have already split into several files. How to load all of those files on demand subsequently?
  2. Assuming I have a single huge file. How to load the content on demand?

Thanks guys!

Guida contributor

Tech stack
python
Dominio
machine learningdata
Tipo issue
documentation
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
PyTorch basicsData loading concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70
Direzione di ricerca
Review the comments on this issue for any existing solutions or discussions. Check the PyTorch Text documentation and examples for current data loading methods. Consider creating a tutorial or example demonstrating loading large files using chunks or memory mapped files, and update the issue with findings.