NVIDIA/DALI

Can dali webdataset reader work out classes from folder structure?

Open

#4.146 geöffnet am 7. Aug. 2022

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (670 Forks)auto 404
help wanted

Repository-Metriken

Stars
 (5.722 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

The webdataset reader seems to require a file to define the class per image in a tar? As shown in this example: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/examples/general/data_loading/dataloading_webdataset.html

The standard nvidia.dali.fn.readers.file can work out the class from the folder structure as per: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/operations/nvidia.dali.fn.readers.file.html

Is it possible to get derive the label for a file from the folder that it is in with webdataset or do I need to add an extra file per sample for the class?

Contributor Guide

Research-Richtung
Untersuchen Sie, ob der webdataset Reader erweitert werden kann, um Klassenbezeichnungen aus der Ordnerstruktur der Shards abzuleiten, ähnlich wie der Datei Reader. Untersuchen Sie den vorhandenen Quellcode des webdataset Readers und die Implementierung des Datei Readers, um zu sehen, welche Anpassungen erforderlich sind.
Tech Stack
python
Domain
backendmachine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
DALIPythonC++
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50