pytorch/text

How to load huge file of data?

Open

#130 opened on 2017年9月25日

GitHub で見る
 (15 comments) (39 reactions) (0 assignees)Python (3,396 stars) (822 forks)batch import
enhancementhelp wanted

説明

Hi guys, is there any plans or tutorial that I can refer to in order to load huge file of data? I have two scenarios in mind that I would probably use

  1. Assuming I have huge files that have already split into several files. How to load all of those files on demand subsequently?
  2. Assuming I have a single huge file. How to load the content on demand?

Thanks guys!

コントリビューターガイド

技術スタック
python
領域
machine learningdata
Issue 種別
documentation
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3 hours
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
PyTorch basicsData loading concepts
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
70
調査方針
Review the comments on this issue for any existing solutions or discussions. Check the PyTorch Text documentation and examples for current data loading methods. Consider creating a tutorial or example demonstrating loading large files using chunks or memory mapped files, and update the issue with findings.