NVIDIA/DALI

ExternalSource and fn.readers.file

Open

#3.811 aberto em 11 de abr. de 2022

Ver no GitHub
 (9 comments) (0 reactions) (1 assignee)C++ (670 forks)auto 404
external sourcehelp wanted

Métricas do repositório

Stars
 (5.722 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

  1. CodeBase1: I need to use the weighted random sampler for ImageNet1000, so, i checke this issue. link. Then, I followed this link to get my own codes, including Sampler, ExternalSourcePipeline and DALIGenericIterator.

  2. CodeBase2: Also, I check this ImageNet1000-resnet link.

However, the difference in efficiency of loading data is surprisingly large!!!

I'm not sure. The possible reason may be the difference between fn.readers.file in link and np.fromfile in link

for _ in range(self.batch_size):
    jpeg_filename, label = self.files[self.i % self.n].split(' ')
    batch.append(np.fromfile(self.images_dir + jpeg_filename, dtype = np.uint8))  # we can use numpy
    labels.append(torch.tensor([int(label)], dtype = torch.uint8)) # or PyTorch's native tensors
    self.i += 1

How should I achieve an efficiency similar to CodeBase2 with weighted random sampler.

Guia do colaborador

Direção de pesquisa
Compare o desempenho de carregamento de dados entre ExternalSource com np.fromfile e fn.readers.file no DALI. Investigue o impacto do tamanho do lote, profundidade da fila de pré busca e uso de iteradores de fonte externa. Verifique se o amostrador aleatório ponderado introduz sobrecarga e explore maneiras de integrá lo eficientemente ao pipeline do DALI.
Pilha de tecnologia
pythonpytorch
Domain
backendmachine learning
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchDALI
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40