facebookresearch/maskrcnn-benchmark

Inference time increases linearly with batch size

Aberta

#294 aberto em 20 de dez. de 2018

Ver no GitHubGuia do colaborador
 (8 comentários) (2 reações) (0 responsável)Python (2.574 forks)batch import
help wanted

Métricas do repositório

Stars
 (9.161 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

❓ Questions and Help

I tested the batch inference，this is result batch size time 1 0.22 2 0.42 4 0.84 6 1.2 8 crash OOM Why big batchsize doesn't save time?

Guia do colaborador

Direção de pesquisa
Investigue por que o tamanho do lote não reduz o tempo de inferência por amostra. Examine o código de processamento em lote em maskrcnn benchmark/modeling/detector e verifique se há gargalos de memória ou processamento sequencial. Considere a utilização da GPU e possíveis problemas de OOM. Revise os comentários na issue para contexto adicional.
Pilha de tecnologia
pythonpytorch
Domain
machine learningaiperformance
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65