NVIDIA/DALI

Can dali webdataset reader work out classes from folder structure?

Open

#4.146 aberto em 7 de ago. de 2022

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)C++ (670 forks)auto 404
help wanted

Métricas do repositório

Stars
 (5.722 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

The webdataset reader seems to require a file to define the class per image in a tar? As shown in this example: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/examples/general/data_loading/dataloading_webdataset.html

The standard nvidia.dali.fn.readers.file can work out the class from the folder structure as per: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/operations/nvidia.dali.fn.readers.file.html

Is it possible to get derive the label for a file from the folder that it is in with webdataset or do I need to add an extra file per sample for the class?

Guia do colaborador

Direção de pesquisa
Investigue se o leitor webdataset pode ser estendido para suportar a derivação de rótulos de classe a partir da estrutura de pastas dos shards, semelhante ao leitor de arquivos. Examine o código fonte do leitor webdataset existente e a implementação do leitor de arquivos para ver quais adaptações são necessárias.
Pilha de tecnologia
python
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
DALIPythonC++
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50