NVIDIA/DALI

Can dali webdataset reader work out classes from folder structure?

Open

#4146 aperta il 7 ago 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)C++ (670 fork)auto 404
help wanted

Metriche repository

Star
 (5722 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

The webdataset reader seems to require a file to define the class per image in a tar? As shown in this example: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/examples/general/data_loading/dataloading_webdataset.html

The standard nvidia.dali.fn.readers.file can work out the class from the folder structure as per: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/operations/nvidia.dali.fn.readers.file.html

Is it possible to get derive the label for a file from the folder that it is in with webdataset or do I need to add an extra file per sample for the class?

Guida contributor

Direzione di ricerca
Indaga se il lettore webdataset può essere esteso per supportare la derivazione delle etichette di classe dalla struttura delle cartelle degli shard, simile al lettore di file. Esamina il codice sorgente del lettore webdataset esistente e l'implementazione del lettore di file per vedere quali adattamenti sono necessari.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
DALIPythonC++
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50