pytorch/text

How to load huge file of data?

Open

#130 geöffnet am 25. Sept. 2017

Auf GitHub ansehen
 (15 Kommentare) (39 Reaktionen) (0 zugewiesene Personen)Python (822 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (3.396 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hi guys, is there any plans or tutorial that I can refer to in order to load huge file of data? I have two scenarios in mind that I would probably use

  1. Assuming I have huge files that have already split into several files. How to load all of those files on demand subsequently?
  2. Assuming I have a single huge file. How to load the content on demand?

Thanks guys!

Contributor Guide

Research-Richtung
Untersuche die vorhandenen Datenlademechanismen in PyTorch Text (z.B. torchtext.data) und schlage eine integrierte Unterstützung oder Dokumentation vor, um große Dateien in Teilen oder bei Bedarf zu laden. Überprüfe ähnliche Issues und Pull Requests für den Kontext.
Tech Stack
pythonpytorch
Domain
data
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
80