pytorch/vision

[proposal] Move dataset tar/zip extraction and integrity checking of multiple files to utils.py

Open

#441 aperta il 6 mar 2018

Vedi su GitHub
 (6 commenti) (0 reazioni) (0 assegnatari)Python (6858 fork)batch import
enhancementhelp wantedneeds discussion

Metriche repository

Star
 (15.050 star)
Metriche merge PR
 (Merge medio 12g 8h) (14 PR mergiate in 30 g)

Descrizione

Datasets such as CIFAR / MNIST / etc have download / integrity logic that is useful for reimplementing custom user datasets (such as https://github.com/vadimkantorov/metriclearningbench/blob/master/cars196.py, https://github.com/vadimkantorov/metriclearningbench/blob/master/cub2011.py, https://github.com/vadimkantorov/metriclearningbench/blob/master/stanford_online_products.py)

I propose moving it to torchvision/datasets/utils.py functions like downloading and extracting tarballs / zipfiles / plain files; checking integrity by md5 of a file list if it is provided.

Currently avoiding duplication leads to quirky subclassing of ImageFolder, Cifar10 etc.

Guida contributor

Direzione di ricerca
Esamina la logica di download ed estrazione nei dataset esistenti come CIFAR e MNIST, quindi refactoring del codice comune in una funzione di utilità condivisa in torchvision/datasets/utils.py.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70