NVIDIA/DALI

Can dali webdataset reader work out classes from folder structure?

Open

#4 146 ouverte le 7 août 2022

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)C++ (670 forks)auto 404
help wanted

Métriques du dépôt

Stars
 (5 722 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

The webdataset reader seems to require a file to define the class per image in a tar? As shown in this example: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/examples/general/data_loading/dataloading_webdataset.html

The standard nvidia.dali.fn.readers.file can work out the class from the folder structure as per: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/operations/nvidia.dali.fn.readers.file.html

Is it possible to get derive the label for a file from the folder that it is in with webdataset or do I need to add an extra file per sample for the class?

Guide contributeur

Direction de recherche
Recherchez si le lecteur webdataset peut être étendu pour prendre en charge la dérivation des étiquettes de classe à partir de la structure de dossiers des shards, comme le lecteur de fichiers. Examinez le code source existant du lecteur webdataset et l'implémentation du lecteur de fichiers pour voir quelles adaptations sont nécessaires.
Stack technique
python
Domaine
backendmachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
DALIPythonC++
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50